JP4537490B2 - オーディオ再生装置およびオーディオ早送り再生方法 - Google Patents

Description

本発明はオーディオ再生技術に関し、音響を出力しながら再生速度を上げる早送り再生の機能を備えたオーディオ再生装置および当該装置に適用するオーディオ早送り再生方法に関する。

音声データの符号化技術の発達、記憶装置の大容量化および小型化、ネットワークの拡充などの技術的背景により、人々は大量のオーディオデータを容易に取得し、様々な形態で鑑賞できるようになっている。購入した音楽ソフトや個人で作成した曲などを鑑賞するためのオーディオ再生装置の機能も多様化しており、単にオーディオデータを記録順に再生するばかりでなく、再生順をランダムにしたり、次の曲までスキップしたり、一の曲を繰り返し再生したり、といったことが容易に行えるようになっている。

そのようなオーディオ再生装置の機能のひとつに早送り再生がある。一般にユーザは、再生中の曲の先の部分を早く聴きたい場合などに、早送り再生の機能を利用して再生速度を速め、所望の箇所まで再生が進んだところで通常の速度に戻す。再生箇所を先に送る機能としては、曲や楽章のデータの初頭に記録されたインデックスまで再生をスキップするものがあるが、早送り再生は実際の曲を聴きながら送ることができる、という点で再生をスキップする機能とは大きく異なる。

早送り再生の技術には、サンプル単位で音声信号を間引く手法、ブロック単位で音声信号を間引く手法がある。前者は４４．１ｋＨｚなどの周波数でサンプリングされたデジタルデータから、要求される再生速度に応じた割合でデータを間引いて再生する。例えば奇数順のサンプルを間引いて偶数順のサンプルのみ再生することにより再生速度を２倍速とする。後者はオーディオデータを、再生するブロック、間引くブロック、再生するブロック、と順に分ける。例えば１秒分再生したら３秒分間引くという処理を繰り返すことにより再生速度を４倍速とする。

前述のとおり早送り再生の大きな特徴のひとつは、早送り再生中も再生された音をユーザが聴ける点にある。ところが上述の如き従来手法では、再生速度を増加させるほど、音程や音色が大きく変化したり、再生部分が単なる音の断片になったりして元の曲とかけ離れたものになり、再生音を聴かせる意味がなくなっていく。そのため、実用化できる再生速度には限界があった。

本発明はこのような課題に鑑みてなされたものであり、その目的は、再生速度を増加させても元の曲からの乖離の少ない再生音を聴くことを可能とする早送り再生技術を提供することにある。

本発明のある態様はオーディオ再生装置に関する。このオーディオ再生装置は、再生中の楽曲の早送り再生の指示入力を受け付ける入力部と、入力部が早送り再生の指示入力を受け付けた際、楽曲に対応するオーディオデータを、再生対象の楽曲の拍をなすビート単位でジャンプさせながら再生する再生部と、を備えたことを特徴とする

ビート単位でジャンプさせながら再生する、とは、あるビートから次のビート、あるいは複数おきのビートまでの時間を１単位とし、その単位時間内で再生と、ジャンプ、すなわち再生せずに送ることを少なくともそれぞれ１回行うことである。

本発明の別の態様もオーディオ再生装置に関する。このオーディオ再生装置は、ユーザが選択した楽曲を再生して音響として出力するオーディオ再生装置であり、ユーザが早送り再生の指示を入力した際、再生対象の楽曲の拍をなすビートのタイミングを表すビートデータ取得するメタデータ取得部と、ビートデータに記録されたビートのうち、少なくとも一部のビートのそれぞれに対応させて、楽曲に対応するオーディオデータの再生部分と非再生部分とを決定する再生制御部と、再生制御部が決定した再生部分のみを再生し非再生部分の再生を省略する再生部と、を備えたことを特徴とする。

本発明のさらに別の態様はオーディオ早送り再生方法に関する。このオーディオ早送り再生方法は、再生対象の楽曲の拍をなすビートのタイミングを表す情報を取得するステップと、各ビートに対応させて楽曲の再生部分および非再生部分を決定するステップと、再生部分と決定された部分のみを音響として出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、早送り再生時にも元の曲を認識しやすい再生音を聴かせることができる。

実施の形態１における早送り再生時の処理を説明するための図である。 歌における発声のタイミングとビートのタイミングの関係を模式的に示す図である。 実施の形態１で用いるビートデータを生成する際に利用できる、ビート抽出の原理を説明するための図である。 実施の形態１におけるオーディオ再生装置の構成を示す図である。 実施の形態１のオーディオ再生装置が行う処理手順を示すフローチャートである。 実施の形態２において用いる楽曲の構成例を示す図である。

実施の形態１
はじめに本実施の形態における早送り再生の原理を説明する。図１は本実施の形態における早送り再生時の処理を説明するための図である。本実施の形態では、早送り再生時に、オーディオデータに対応づけて記憶されたメタデータのうち、楽曲の拍をなすビートのタイミング情報を取得し、当該ビートのタイミングを基準として曲の再生部分、非再生部分を決定する。そして非再生部分をジャンプしながら再生部分のみを再生して音響として出力する。

図１は上から、横軸を時間軸とした場合の、通常波形、ビートのタイミング、および早送り波形を示している。ここで通常波形とは、通常の再生速度で再生した場合に出力されるオーディオ信号の波形、すなわち元々の曲の時間波形である。以後、このような波形の信号を生成する再生を「通常再生」と呼ぶ。

ビートとは曲の時間的基準となる拍のことであり、ビートのタイミングは楽曲固有の情報となる。本実施の形態では、メロディラインに対するビートのタイミングを曲全体に渡り記録した時系列データをメタデータとして曲ごとに用意する。例えば各ビートのタイミングを、曲の開始からの経過時間で記録したデータや、曲の開始からのサンプル数で記録したデータを用意する。以後、このメタデータを「ビートデータ」と呼ぶ。

ビートは曲の基本的なテンポに応じて概ね周期的に出現するが、音楽を表現するうえでのいわゆる「味付け」により、間隔が狭まったり広がったりすることは往々にして起こりうる。ビートデータはこのようなビートの間隔の変化をも正確にトレースしたデータであることが望ましい。このようなビートデータの生成手法の例は後述する。一方、本実施の形態はそれに限らず、基本的なテンポにのった部分におけるビートのタイミングを模した、周期的なタイミングを表すデータなどでもよい。

早送り波形は、早送り再生時に出力するオーディオ信号の波形である。本実施の形態では元の曲の一部を再生部分Ａ、その次の部分を非再生部分Ｂ、さらに次の部分を再生部分Ａ・・・と交互に決定し、早送り再生時には再生部分Ａのみを再生してユーザに聴かせる。図１では理解を容易にするため早送り波形を通常波形の時間軸に揃えて表しているが、非再生部分Ｂは再生されずにスキップされるため、その部分の時間は経過しない。そのため同図では、早送り波形の時間軸における当該部分を点線で示している。すなわち実際にユーザが聴く音は、再生部分Ａをつなげたものとなる。

再生部分Ａおよび非再生部分Ｂは、ビートデータで表されるビートのタイミングと、早送り再生時に要求される再生速度とによって決定する。具体的には、再生部分Ａの開始タイミングをビートのタイミングと同期させる。また再生速度がＮ倍速であれば、ビートの間隔Ｃに対する再生部分Ａの長さの割合を１／Ｎとする。図１では２倍速の場合を示しており、再生部分Ａの長さはビートの間隔Ｃの１／２である。結果として再生部分Ａの時間と非再生部分Ｂの時間とが等しくなっている。

以下に説明するように、音楽におけるビートのタイミングを含む微少時間は、その他の期間に比べより多くの情報が含まれている。そのため早送り再生時には当該ビートのタイミングを含む部分を優先的に再生し、その他の部分から信号を間引くようにすることにより、再生音における情報の欠落量を抑制する。これにより、高速の早送り再生においても元の曲からの乖離が少なく、ユーザが曲として認識し易くなる。

図２は歌の場合における発声のタイミングとビートのタイミングの関係を模式的に示している。通常、歌詞はその曲の音符にのせることが多く、ビートのタイミングは音符と重なることが多いため、ビートは発声のタイミングと重なる確率が高い。図２では、「さ（sa）」「く（ku）」「ら（ra）」という３音が２度、ビートのタイミングと合致したタイミングで発声される場合を示している。同図において各音をなす図形のうち、矩形３０は子音が発せられる期間、三角形３２は母音が発せられる期間を示している。同図に示すように、発声したタイミング、すなわちビートのタイミングから微少時間は、「さ」「く」「ら」のうちそれぞれの子音が発声され（矩形３０）、続いて母音が発声される（三角形３２）。母音の長さは曲によって様々である。

子音と母音とで構成される発声直後の音と、後に伸びる母音のみの音とでは、前者の方が明らかに音（おん）としての情報が多く含まれる。したがって、同図の例からも明らかなように、全体的にみてビートのタイミングを含む微少時間は、その他の期間より、歌詞を判別するのに必要な多くの情報を含んでいる。さらに発声直後の声と比較すると、その後に伸ばす声は、ビブラートなどの表現によって本来の音符の音程からずれていたりはっきりしなかったりする可能性が高い。そのためビートのタイミングを含む微少時間は、音程を認識するうえでも有利な情報を多く含んでいるといえる。

器楽曲や伴奏における楽器の音の場合、当該楽器を弾いたタイミングから微少時間には、その楽器本来の音色や演奏者のタッチなどを認識できるアタック音が発生し、次に音符の長さ分のリリース音が続く。この場合もビートのタイミングはアタック音が発生するタイミングと重なる確率が高い。したがってビートのタイミングから微少時間は、全体的に本来の音色など楽器による曲の表現を認識するのに必要な多くの情報が、他の期間より多く含まれる。また発声の場合と同様に、ビートのタイミングを含む微少時間は、音程を認識するうえでも有利な情報を多く含んでいる。

このように本実施の形態は、元の曲が有する情報をなるべく欠落させずに早送り再生を行うために、発声した瞬間や楽器を弾いた瞬間を再生部分として捉えることが肝要である。そのため再生部分Ａの開始タイミングを、ビートのタイミングから所定の微少時間早めた時点としてもよい。これにより、実際の発声や発音のタイミングがビートデータが表すビートのタイミングより微妙に早まっている場合など、テンポの微妙なゆらぎやずれを担保することができる。

また、図１ではあるビートから次のビートまでの時間を１単位として、時間割合に基づき再生部分Ａと再生部分Ｂを当てはめたが、上述のような情報の確保を保証するためには、各再生部分Ａの時間の絶対値にも配慮する。例えば発声において子音と母音との組み合わせを捉えるには１０ミリ秒程度の時間が必要となるため、再生部分Ａはそれ以上の時間を有することが望ましい。ところが再生速度を上げていくと、ビートの間隔Ｃに対する再生部分Ａの割合が減少していき、いつかは再生部分Ａの時間が情報を確保するのに必要な時間を下回る領域へと達することになる。

そこで再生速度を上げて再生部分Ａの割合が減少しても各再生部分Ａの絶対値を確保するために、所定の再生速度を超える場合は、ビートデータに記録されたビートから一定の個数おきに抽出したビートを基準のビートとしてもよい。例えば１つおきのビートを基準として、そのタイミングを再生部分Ａの開始タイミングとし、そこから２つめのビートまでの時間を１単位として再生部分Ａと非再生部分Ｂを当てはめる。すると、各再生部分Ａの時間は図１の場合の２倍となる。基準とするビートの数は、要求される再生速度に応じて段階的に減少させるようにあらかじめ設定しておいてもよい。これにより、例えば１０倍速程度の高速再生を行っても、ビートのタイミングに含まれる情報を確保することができるため、曲の認識という観点での再生速度の限界を格段に高くできる。

次にビートデータを生成する手法の一例として、本発明者が過去に発明した手法を説明する。なお、より詳細な手法については、本発明者が開示した特許文献（特開２００７−３３８５１）に記載されている。また本手法はビートのタイミングを曲全体に渡り精度よく自動で取得できるという点で、本実施の形態に利用することにより一層の効果を得ることができるが、本手法をもって本実施の形態を限定するものではない。上述のとおり曲においてテンポが一定の部分のビートの周期から擬似的なビートのタイミングを求めてもよいし、人手による調整などの処理を含めてもよい。

図３は本実施の形態で用いるビートデータを生成する際に利用できる、ビート抽出の原理を説明するための図である。図の横軸はそれぞれの波形に共通の時間軸である。同図中、上段はあるオーディオ信号の時間波形、中段は同じ時間における当該信号のスペクトログラム、下段は本手法で抽出するビート波形を示している。スペクトログラムは周波数に対するオーディオ信号のスペクトルの時間変化を示したものであり、縦軸は周波数である。

まず時間波形を見ると、そのピークが大きく振れるタイミング５２の存在が確認できる。これは例えばドラムなどの打楽器がビートを刻んでいるタイミングであると考えられるが、実際にこの音楽を聴いてみると、時間波形に表れるビートのタイミング５２より多くのタイミングでビートが感じられる場合が多い。これは時間波形がその音楽を構成する様々な音波の波形の重ね合わせを表していることなどに起因する。すなわち時間波形は各音波の位相によって振幅が変化するため、ビートのタイミングで波形が打ち消しあったりビート以外のタイミングで増幅したり、といったことが起こりやすい。そのためビート抽出において十分な精度が得られにくい。

一方、スペクトログラムを見ると、広範囲にわたる周波数帯域で瞬時に生じる強いスペクトル６２がおよそ周期的に表れているのがわかる。このスペクトル６２の発生タイミングは、音楽を実際に受聴した際に人間が感じるビートのタイミングとよく合致している。そこで、スペクトル６２が表れるタイミングをビートのタイミングと判断する。具体的にはスペクトルの時間微分を行い、その値、すなわちスペクトルの時間変化量が大きいタイミングをビートのタイミングとする。

具体的な処理は次のように行う。まず処理対象のオーディオ信号に対し、所定周期ごとにＦＦＴ（Fast Fourier Transform）演算を行うなど一般的な手法により、各時刻におけるスペクトルを算出する。そしてスペクトルの全周波数帯域における総和の、単位時間あたりの変化を算出することにより、スペクトルの時間微分値を算出する。スペクトルの算出および時間微分値の算出は、実際には所定の時間幅のうちにサンプリングされたオーディオ信号ごとにスペクトルを算出し、当該時間幅を単位時間分ずらした際のスペクトルの差分を時間微分値として取得するオーバラップ処理を行ってもよい。このようにして数ミリ秒から数十ミリ秒の時間分解能でスペクトルが得られる。

以上の処理により、図３の時間波形で表されるようなオーディオ信号から、スペクトログラムで表されるようなスペクトルが算出され、それを時間微分することによりビート波形が得られる。次にビート波形のピーク６４の値とあらかじめ設定したしきい値６６とをそれぞれ比較する。そしてしきい値６６を超えるピークが発生するタイミングをビートのタイミングとし、その時刻あるいはサンプル番号などを記録する。場合によっては、間隔が他より広くビートが抜けていると見なされるタイミングにビートを追加したり、間隔が他より短い部分のビートを削除したり、といった調整をさらに行ってもよい。

次に本実施の形態の構成について説明する。図４は本実施の形態におけるオーディオ再生装置の構成を示している。オーディオ再生装置１０は、ユーザが選択した楽曲に対応するオーディオデータを再生し、音響として出力する。オーディオ再生装置１０は、再生の選択肢であるオーディオデータおよびそれぞれのビートデータを記憶する記憶部１２、ユーザが指示入力を行うインターフェースである入力部１６、早送り再生の際、ビートデータを取得するメタデータ取得部１４、ユーザの入力に応じて装置全体を制御する再生制御部１８、オーディオデータを再生する再生部２０、および再生された信号を音響として出力する出力部２２を含む。

記憶部１２は、オーディオデータなどを記憶するフラッシュメモリやハードディスクなど、オーディオ再生装置１０に内蔵された記憶装置でもよいし、オーディオデータなどを記録したＣＤ（Compact Disc）などの記録媒体とその読み取り装置との組み合わせでもよい。あるいは記憶部１２を、図示しないネットワークを介して音楽コンテンツを提供するサーバ内の記憶装置としてもよい。記憶部１２を複数設けた構成とし、上記の態様を組み合わせてもよい。記憶部１２に記憶されるオーディオデータは、オーディオ信号をＭＰ３やＰＣＭなど一般的に用いられるコーデックで符号化したものでよい。

各オーディオデータに対応するビートデータは、オーディオデータを提供する音楽ソフト制作会社、配信会社などが作成してオーディオデータに付与してもよいし、オーディオデータを取得したユーザが自分で作成してもよい。ビートデータは、対応するオーディオデータのヘッダなどに埋め込めこまれていてもよいし、オーディオデータと独立したファイルとしてもよい。後者の場合、オーディオデータとビートデータとの対応関係が識別番号、ファイル名などにより明らかであれば、同一の記憶部１２に記憶されていなくてもよい。例えばオーディオ再生装置１０に内蔵された記憶部１２がオーディオデータを記憶する一方、当該オーディオデータに対応するビートデータはネットワークを介して接続したサーバに設けられた記憶部１２から必要に応じてダウンロードするようにしてもよい。

入力部１６は、記憶部１２に記憶されているオーディオデータからの選択、通常再生指示、早送り再生指示、各再生の停止指示などの入力をユーザがオーディオ再生装置１０に対して行う際のインターフェースである。入力部１６として、一般的なオーディオ再生装置に備えられている入力装置を採用してもよい。すなわち、ボタン、タッチパネル、マウス、トラックボールなど一般的な入力装置のいずれかまたはその組み合わせでよい。入力部１６はオーディオ再生装置１０と一体的に設けてもよいし、リモートコントローラの形式でオーディオ再生装置１０本体と分離した形態としてもよい。

メタデータ取得部１４は、ユーザが入力部１６に対し早送り再生の指示入力を行った際、再生対象のオーディオデータに対応するビートデータを記憶部１２から読み出し、再生制御部１８に与える。

再生制御部１８は、ユーザが入力部１６に対し早送り再生の指示入力を行った際、メタデータ取得部１４を動作させる。そしてメタデータ取得部１４が取得したビートデータと、要求される再生速度とに従い、再生部分と非再生部分との切り替えタイミングを決定し、オーディオデータのうち再生部分のみを再生するように再生部２０を制御する。

ここで要求される再生速度とは、オーディオ再生装置が有する機能としてあらかじめ定めた固定値でもよいし、入力部１６に対する入力内容によって変化するようにしてもよい。例えば入力部１６に設けた早送り再生ボタンを長く押し続けるほど、あるいは多くの回数を押すほど、連続的または段階的に再生速度が速くなるようする。再生制御部１８は、再生ボタンが押下された時間や回数を、あらかじめ対応づけられた再生速度に変換し、再生部分Ａと非再生部分Ｂとの時間割合を決定する。

再生制御部１８はさらに、ユーザが入力部１６に対し早送り再生から通常再生への切り替えを指示する入力を行った際は、オーディオデータの全ての部分を再生するように再生部２０を制御する。また、一般的なオーディオ再生装置と同様、曲の選択や通常再生の開始、停止などの指示入力に応じて再生部２０を制御する。

再生部２０は再生制御部１８の制御のもと、記憶部１２からユーザが選択した曲に対応するオーディオデータを読み出し、再生する。基本的には符号化されたオーディオデータを復号し、ディジタルアナログ変換を施すなど一般的な手法で再生を行い、オーディオ信号を生成する。ただし早送り再生時は、再生制御部１８が決定した再生部分Ａのみを処理対象とする。具体的には、オーディオデータのデータストリームのうち、ある再生部分Ａの開始タイミングから終了タイミングまでを復号してディジタルアナログ変換など必要な処理を行う。そして後続の非再生部分Ｂをスキップして次の再生部分Ａの処理を開始する。

再生制御部１８は、ビートデータにおいてビートのタイミングを表現する実時間やサンプル数に基づき、再生部分Ａと非再生部分Ｂとの切り替えタイミングを、復号前のオーディオデータのアクセスユニットの単位で算出しておく。これにより、ある再生部分Ａのデータ終了ポイントから次の再生部分Ａのデータ開始ポイントへ、再生部２０のアクセスを直接シフトさせることができる。

出力部２２は、再生されたオーディオ信号を音響としてユーザに聴かせる機能を備えていれば、スピーカ、ヘッドフォン、イヤホンなど一般的な音響出力装置のいずれでよい。

次に、以上述べた構成を有するオーディオ再生装置１０の動作について説明する。図５はオーディオ再生装置１０が行う処理手順を示すフローチャートである。まずユーザが、選曲を行ったうえで通常再生を開始する指示入力を入力部１６に対し行うと（Ｓ１０）、再生制御部１８による制御のもと、再生部２０は選択された楽曲に対応するオーディオデータを記憶部１２から読み出し再生処理を施し、出力部２２が音響として出力する（Ｓ１２）。ユーザが入力部１６に対し通常再生停止の指示入力を行ったり早送り再生を開始する指示入力を行ったりしなければ、この通常再生および出力の処理を続行する（Ｓ１４のＮ、Ｓ１６のＮ、Ｓ１２）。

一方、ユーザが入力部１６に対し、通常再生を停止する指示入力を行わず早送り再生を開始する指示入力を行った場合（Ｓ１４のＮ、Ｓ１６のＹ）、再生制御部１８は、メタデータ取得部１４を介して、再生中のオーディオデータに対応するビートデータを取得する（Ｓ１８）。そして再生制御部１８は、ビートのタイミングあるいはそれより所定時間前のタイミングなど、ビートのタイミングを基準とした所定規則に則り各再生部分Ａの開始タイミングを決定し、ユーザが早送り再生の指示入力を行った際の入力部１６の操作などに応じて決定した再生速度に基づき、再生部分Ａと非再生部分Ｂの時間割合を決定する（Ｓ２０）。これはすなわち再生部分Ａと非再生部分Ｂとを切り替えるタイミング、あるいはオーディオデータのうち切り替えを行うアクセスユニットを決定することでもある。

次に再生部２０は再生制御部１８による制御のもと、再生部分Ａのみを順に再生し、出力部２２がそれを音響として出力する（Ｓ２２）。ユーザが入力部１６に対し早送り再生を停止する指示入力を行わない限りは、再生部分のみの再生および出力を続行する（Ｓ２４のＮ、Ｓ２２）。一方、ユーザが早送り再生を停止する指示入力を行った場合は（Ｓ２４のＹ）、再生部２０は再生制御部１８による制御のもと、オーディオデータの全ての部分を再生する通常再生へ処理を戻し、その音響を出力部２２が出力する（Ｓ１２）。ユーザが入力部１６に対し通常再生を停止する指示入力を行った場合、全ての処理を終了させる（Ｓ１４のＹ）。

なお、ビートデータを取得するステップ（Ｓ１８）と再生部分Ａと非再生部分Ｂとの切り替えタイミングを決定するステップ（Ｓ２０）は、ユーザが早送り再生を開始する指示入力を行う前、例えば再生対象のオーディオデータが決定した時点などにあらかじめ行っておき、そのデータを図示しないメモリなどに一時保存するようにしてもよい。この場合は、ユーザが早送り再生の指示入力を行った際、再生制御部１８が切り替えタイミングを当該メモリから読み出すことにより、Ｓ２２の再生部分Ａのみの再生、出力処理が行われる。

以上述べた本実施の形態によれば、オーディオ再生装置において早送り再生を行う際、再生対象の楽曲が有するビートのタイミングを基準に再生部分と非再生部分とを決定し、再生部分のみを再生する。具体的には、再生部分の開始をビートのタイミングに合致させるか、ビートのタイミングより所定時間前のタイミングとする。再生部分と非再生部分との時間割合は、要求される再生速度によって決定する。これにより、オーディオデータのうち、歌詞、音色、音程など楽曲として重要な情報が多く含まれるビートのタイミング近傍のデータは優先的に再生されるため、高速に早送り再生した場合でも元の曲からの乖離が少なく、ユーザは楽曲を認識しやすくなる。結果として、メロディの探索、所望の箇所への移動など、早送り再生の目的を短期間で達成することができる。

本実施の形態は再生部分、非再生部分を上述のとおり決定できれば、オーディオデータのうち一部分をスキップする処理は従来の早送り再生に用いられた装置構成で実現可能である。すなわち専用のフィルターを用意するなど特別な信号処理が不要であるため、導入障壁が少なく製品化が容易である。また計算コストが少ないため、携帯オーディオ装置や携帯電話など、演算能力が比較的乏しい装置にも実装しやすい。

実施の形態２
実施の形態１では楽曲が有するビートのタイミングを基準として再生部分を決定した。本実施の形態ではビートのタイミングに加え、楽曲の構成を考慮することにより、ユーザに楽曲の内容を認識させつつ、より高速の早送り再生を実現する。本実施の形態の装置構成は、図３で示したオーディオ再生装置１０と同様である。以下、主に実施の形態１との相違点について説明し、実施の形態１と重複する内容については適宜説明を省略する。

一般に楽曲は、基本となる複数種類のメロディの固まり、すなわちメロディブロックを組み合わせて構成される。同一種類のメロディブロックには概ね同一の旋律が含まれている。図６は一の楽曲が有するメロディブロックの時系列構成の例を示している。横軸は時間であり各矩形がメロディブロックに対応する。同図の例では、メロディブロックの種類として、前奏である「イントロ」、中間部である「メロディＡ」、「メロディＢ」、「メロディＣ」、盛り上がりの部分である「サビ」、後奏である「アウトロ」を含む構成となっている。また「メロディＡ」、「メロディＢ」、「メロディＣ」はそれぞれ２回、「サビ」は３回出現している。

図６に示したものの他にメロディブロックの種類として、間奏である「ブリッジ」やソロ部分、音響効果部分などもある。このような種別は主にポピュラー音楽において用いられるものであるが、歌、器楽曲を問わず、またジャンルを問わず、多くの楽曲においてメロディブロックは存在し、同一種類のメロディブロックが複数回出現することが多い。

本実施の形態では楽曲のそのような特徴を利用して、実施の形態１で説明したビートを基準とした再生部分の決定処理を、選択したメロディブロックについてのみ行い、その他のメロディブロックは再生対象からはずすことにより、さらに早送りの再生速度を向上させる。図６の例では、それぞれ初回に出現する「メロディＡ」８０、「メロディＢ」８２、「サビ」８４、および「アウトロ」８６のみを処理の対象として選択する。選択されたメロディブロックは、それに含まれるビートのタイミングを基準に実施の形態１と同様に再生部分を決定し、部分的に再生する。

メロディブロックを選択するポリシーは音楽を制作する側、配信する側、鑑賞する側によって種々考えられるが、基本的には複数回出現するメロディブロックは１回のみ選択する、さらに間奏など曲の表現上、比較的重要でないと思われるメロディブロックは非選択とする、などとすると、高速再生しながら曲を認識させる効果がより得られやすい。

実施の形態１のようにビートを基準に再生部分と非再生部分とを決定するのに加えて、メロディブロックごと再生を省略することで、曲を認識させながらも全体的な再生速度が格段に速くなる。例えば各曲のデータの最初にインデックスをつけずに多くの曲を一度に録音した場合やクラシックの長時間にわたる楽章などは、従来のインデックスによる再生スキップが利用できず、長時間にわたって早送り再生をしなければ所望の箇所へ行き着けない。

一方、本実施の形態によればユーザが楽曲を認識しながら高速再生が可能となるため、短時間で所望の曲や箇所へ行き着くことができる。インデックスが細かく記録されている場合でも、インデックスからインデックスへ再生をスキップするのではなく、実際に再生音を聴きながら曲を早送りすることが可能なため、曲の把握が短時間で可能となる。例えば、一のアルバムに収録された曲をダイジェストで聴くことができ、販売促進やザッピングなどに効果的である。

図６に示したような曲の構成や選択されたメロディブロックを示すメロディブロックデータは、あらかじめオーディオデータごとにメタデータとして用意し、記憶部１２に記憶させる。当該メタデータは、ビートデータと同様、メロディブロックの切り替えタイミングを曲の開始からの経過時間で記録したデータでもよいし、曲の開始からのサンプル数で記録したデータでもよい。あるいはビートデータに対応づけ、曲の開始からのビート数で記録したり、ビートデータにマーキングをしてもよい。このようなデータを、オーディオデータを提供する音楽ソフト制作会社、配信会社などが作成してオーディオデータに付与してもよいし、オーディオデータを取得したユーザが自分で作成してもよい。当該データは、オーディオデータのヘッダに含まれていてもよいし、オーディオデータとは別ファイルとしてもよい。

曲の構成データは、曲のコード進行においてコードが切り替わるタイミングやコードの繰り返しパターンを従来技術である音響解析技術を用いて自動的に取得することによって求めてもよいし、実際の音楽を聴きながらメロディブロックの切り替わりタイミングにおいて人為的に何らかの入力を行うことにより記録するようにしてもよい。このような技術は従来の音楽作成用ソフトウェアなどを用いて実現することができる。選択するメロディブロックは、上述のポリシーの他、音楽制作者が得に聴かせたいと考えるメロディブロックや、ユーザが早送り再生時に聴きたいと考えるメロディーブロックを、曲の構成データにおいて他のメロディブロックと識別できるようにマーキングすればよい。

本実施の形態におけるオーディオ再生装置１０の動作は、実施の形態１で図４を参照して説明したのと概ね同様となる。ただし本実施の形態では、Ｓ１８においてビートデータを取得する際、記憶部１２にメタデータとして記憶されたメロディブロックデータを同時に取得する。そしてＳ２０において再生制御部１８が再生部分と非再生部分を決定する際、メロディブロックデータを参照し、選択されたメロディブロックに含まれるビートのタイミングのみを抽出してそれを基準に再生部分、非再生部分を決定する。それ以外のメロディブロックは全て非再生部分とする。こうして決定した再生部分のみを再生して音響として出力する点は、図４のＳ２０で説明したのと同様である。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えばビートデータがメタデータとして用意されない環境などにおいても実施の形態１の如き態様を実現するために、メタデータ取得部１４にオーディオデータからリアルタイムでビートを抽出する機能を含めてもよい。この場合、再生中のオーディオデータに対応するビートデータが記憶部１２に記憶されていなかった場合などに、メタデータ取得部１４は記憶部１２からオーディオデータを読み出し、上述のとおりスペクトルの算出およびその時間微分を行いビートのタイミングを取得する。

再生制御部１８はこのようにして得たビートのタイミングを基準に実施の形態１と同様に再生部分を決定し、再生部２０にその部分のみを再生させて出力する。あるいはメタデータ取得部１４がビートのタイミングを取得する際再生したデータを図示しないメモリに一時保存しておき、そのうち再生部分のみを抽出して出力するようにしてもよい。これによりビートデータが得られない環境にあっても本実施の形態と同様の効果を得ることができる。

また実施の形態１、２では、再生制御部１８が決定した再生部分のみを、再生部２０がオーディオデータから再生し出力するとしたが、再生部２０は再生部分か非再生部分かに関わらず全ての部分を再生し、出力部２２が再生部分のみを出力するようにしてもよい。この場合、再生部分と非再生部分との切り替えを楽曲開始からの経過時間などによって記録すれば、時間に基づいて出力させるかさせないかを決定することができる。このようにしても本実施の形態と同様の効果を得ることができる。

さらに実施の形態２では、同じ旋律を有するメロディブロック単位で選択、非選択を決定し、非選択のメロディブロックごと非再生部分とすることにより、さらなる高速再生を実現したが、曲中のブロックとして何らかの規則に従い区分けが可能な単位のいずれをも、広義のメロディブロックとすることができる。例えば小節単位、歌詞の番数単位などをメロディブロックとして、実施の形態２で説明したのと同様のメタデータを用意することにより、同様の効果を得ることができる。

１０ オーディオ再生装置、 １２ 記憶部、 １４ メタデータ取得部、 １６ 入力部、 １８ 再生制御部、 ２０ 再生部、 ２２ 出力部。

Claims (6)

1. ユーザが選択した楽曲を再生して音響として出力するオーディオ再生装置において、
   ユーザが早送り再生の指示を入力した際、再生対象の楽曲の拍をなすビートのタイミングを表すビートデータと、再生対象の楽曲を旋律の種類によって区分けしてなるメロディブロックの順列を表すメロディブロックデータと、を取得するメタデータ取得部と、
   前記メロディブロックデータに記録された、楽曲を構成するメロディブロックのいずれを選択するかを表す情報を参照し、前記ビートデータに記録されたビートのうち、選択されたメロディブロックに含まれるビートを特定し、再生部分に、特定したビートのタイミングのいずれかが含まれるように、前記楽曲に対応するオーディオデータの再生部分と非再生部分とを決定する再生制御部と、
   前記再生制御部が決定した再生部分のみを再生し非再生部分の再生を省略する再生部と、
   を備えたことを特徴とするオーディオ再生装置。
2. 同一の旋律を有する同一種類のメロディブロックは１回のみ選択されるように、前記メロディブロックデータに記録されていることを特徴とする請求項１に記載のオーディオ再生装置。
3. 前記再生制御部は、全ビート、または所定の個数おきに抽出したビートが含まれるように再生部分の開始タイミングを決定し、ユーザが指定した再生速度に基づき決定した再生部分と非再生部分の時間割合で前記開始タイミング間の時間を分割することにより、再生部分と非再生部分とを決定することを特徴とする請求項１または２に記載のオーディオ再生装置。
4. 再生対象の楽曲の拍をなすビートのタイミングを表すビートデータを取得するステップと、
   前記楽曲を旋律の種類によって区分けしてなるメロディブロックの順列を表すメロディブロックデータを取得するステップと、
   前記メロディブロックデータに記録された、楽曲を構成するメロディブロックのいずれを選択するかを表す情報を参照するステップと、
   前記ビートデータに記録されたビートのうち、選択されたメロディブロックに含まれるビートを特定するステップと、
   再生部分に、特定したビートのタイミングのいずれかが含まれるように、前記楽曲の再生部分および非再生部分を決定するステップと、
   再生部分と決定された部分のみを音響として出力するステップと、
   を含むことを特徴とするオーディオ早送り再生方法。
5. 同一の旋律を有する同一種類のメロディブロックは１回のみ選択されるように、前記メロディブロックデータに記録されていることを特徴とする請求項４に記載のオーディオ早送り再生方法。
6. ユーザが選択した楽曲を再生して音響として出力する機能をコンピュータに実現させるコンピュータプログラムであって、
   ユーザが早送り再生の指示を入力した際、再生対象の楽曲の拍をなすビートのタイミングを表すビートデータと、再生対象の楽曲を旋律の種類によって区分けしてなるメロディブロックの順列を表すメロディブロックデータと、をメモリから読み出す機能と、
   前記メロディブロックデータに記録された、楽曲を構成するメロディブロックのいずれを選択するかを表す情報を参照する機能と、
   前記ビートデータに記録されたビートのうち、選択されたメロディブロックに含まれるビートを特定する機能と、
   再生部分に、特定したビートのタイミングのいずれかが含まれるように、前記楽曲に対応するオーディオデータの再生部分と非再生部分とを決定する機能と、
   前記オーディオデータのうち再生部分と決定された部分のみをメモリより読み出し再生する機能と、
   をコンピュータに実現させることを特徴とするコンピュータプログラム。