JP4336362B2

JP4336362B2 - 音響再生装置及びその方法、音響再生プログラム及びその記録媒体

Info

Publication number: JP4336362B2
Application number: JP2006287391A
Authority: JP
Inventors: 潤一田川; 裕明山根
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2006-10-23
Filing date: 2006-10-23
Publication date: 2009-09-30
Anticipated expiration: 2021-12-13
Also published as: JP2007080490A

Description

本発明は、楽曲のオーディオ信号（音響信号）からその音楽の「サビ」の部分等の音響的な変節点を抽出する技術に関わり、特に音響再生装置、音響再生方法、音響再生プログラムと、そのプログラムを記録した記録媒体に関するものである。

従来の楽曲の聴取形態として、先ずＣＤプレーヤでの利用者の楽曲聴取形態について例に挙げて説明する。利用者がオーディオＣＤに記録された楽曲を聴取する場合は、ＣＤの最初から順番に楽曲を再生するか、もしくは自分の聴取希望の楽曲番号を指定して再生・聴取するのが一般的である。楽曲の途中、例えば当該楽曲の歌の出だしや、歌の２番、サビ（ブリッジ）の部分から聴きたい場合は、ＣＤの早送りや巻き戻し機能を用いて、利用者が再生開始点を目的の場所まで移動してから聴取する必要がある。

次に、ＥＭＤ（電子音楽配信）用の試聴システムを例に挙げて説明する。ＥＭＤ用の試聴システムでは、販売する楽曲のサンプルとして、その楽曲の一部（20〜30秒程度）を利用者が試聴できるようにしているものが多い。そのような試聴用のサンプルは、販売促進という目的上、楽曲の特徴を最も端的に表現している音楽的部位を切り出している場合が多く、具体的には曲の歌い出しの部分や、サビの部分などの楽曲の一部を利用していることが多い。

しかしながら、前述したＣＤプレーヤの例の場合は、利用者がＣＤに収録されている特定の楽曲のサビの部分のみを聴きたいときは、先ず当該楽曲の再生を開始し、更に早送りや巻き戻し等の操作により楽曲を聞きながら、又はＣＤプレーヤに表示されるカウンタを見ることにより、利用者がサビの部分まで再生開始点を移動するという操作をしていた。このような方法は利用者に操作上の負担をかけるものであった。更に、１枚又は複数のＣＤの音楽的内容を短時間に把握するための聴取を行う場合は（いわゆるダイジェスト再生）、利用者が前記のような移動操作を繰り返し行わなければならず、操作上の負担は更に増加してしまう。

ＥＭＤ用の試聴システムの場合は、試聴用のサンプルの切り出しは、コンテンツ製作者や試聴システム製作者が当該楽曲全体を試聴し、その楽曲の音楽的特徴を端的に表現していると思われる部分を手作業で見つけ出している。このような作業は製作者にとって作業負担が大きくなり、そのための作成費用（コンテンツ編集作業）も大きな割合を占めていた。

以上の課題は、次のような事情に起因するものである。即ち、一般的に流通しているオーディオＣＤ等に記録されているオーディオコンテンツでは、楽曲の再生時間、開始時刻、終了時刻等の少数の外部的情報でしか定義されておらず、歌の出だしの時刻、サビの開始時刻等、当該コンテンツの音楽的な特徴に根ざした音響変節点に関する情報（音響変節点の時刻情報）が含まれていない。

本発明は、このような従来の問題点に鑑みてなされたものであって、オーディオＣＤ等に記録されている楽曲のオーディオ信号から、音楽的特徴を表現する音響変節点を抽出し、その音響変節点を利用して利用者の負担なく効率よく楽曲コンテンツの再生、編集及び作成を行う技術を実現することを目的とする。

この課題を解決するために、本発明の音響再生装置は、楽曲の音響信号を格納する音響信号格納手段と、前記音響信号格納手段に格納された音響信号から、音響的な境界を示す音響変節点を抽出する音響変節点抽出手段と、前記音響変節点抽出手段によって抽出された音響変節点の時刻または尤度を記憶する楽曲属性記憶手段と、前記音響信号格納手段に格納された音響信号を、任意の位置から再生する音響再生手段と、前記楽曲属性記憶手段に記録された音響変節点の時刻または尤度を参照して、前記音響再生手段の再生を制御する再生制御手段と、を具備し、前記音響変節点抽出手段は、楽曲の音響信号を入力する音響信号入力部と、前記音響信号入力部より与えられた音響信号から、予め定めた音響的特徴量を抽出する特徴量抽出部と、前記特徴量抽出部によって抽出された音響的特徴量から、音響変節点の尤度を示す評価関数を算出する評価関数算出部と、前記評価関数算出部によって算出された評価関数の値が極大値を示すピーク時刻及びピーク値を検出するピーク検出部と、前記ピーク検出部によって検出されたピーク時刻及びピーク値から、所定値以上の尤度値を持つ音響変節点を選択する選択部と、を有し、前記評価関数Ｃｐ _i は、
Ｃｐ _i ＝ＲＭＳ _i × ＮＺ _i × ＡＲ _i
（ＲＭＳ _i ：ｉ番目の処理ブロックにおける信号の２乗平均平方、ＮＺ _i ：発音非周期
性、ＡＲ _i ：平均発音数）で表示されるものである。

ここで前記再生制御手段は、利用者が音響変節点からの再生を指示するための操作部を有し、前記操作部の指示により任意の音響変節点からの再生を行うようにしてもよい。

この課題を解決するために、本発明の音響再生方法は、楽曲の音響信号を格納する音響信号格納ステップと、音響信号格納ステップの音響信号から、音響的な境界である音響変節点を抽出する音響変節点抽出ステップと、前記音響変節点抽出ステップによって抽出された音響変節点の時刻または尤度を記憶する楽曲属性記憶ステップと、前記音響信号格納ステップに格納された音響信号を、任意の位置から再生する音響再生ステップと、前記楽曲属性記憶ステップに記録された音響変節点の時刻または尤度を参照して、前記音響再生ステップの再生を制御する再生制御ステップと、を具備し、前記音響変節点抽出ステップは、楽曲の音響信号を入力する音響信号入力ステップと、前記音響信号入力ステップで与えられた音響信号から、予め定めた音響的特徴量を抽出する特徴量抽出ステップと、前記特徴量抽出ステップによって抽出された音響的特徴量から、音響変節点の尤度を示す評価関数を算出する評価関数算出ステップと、前記評価関数算出ステップで算出された評価関数が極大値を示すピーク時刻及びピーク値を検出するピーク検出ステップと、ピーク検出ステップによって検出されたピーク時刻及びピーク値から、所定値以上の尤度値を持つ音響変節点を選択する選択ステップと、を有し、前記評価関数Ｃｐ _i は、
Ｃｐ _i ＝ＲＭＳ _i × ＮＺ _i × ＡＲ _i
（ＲＭＳ _i ：ｉ番目の処理ブロックにおける信号の２乗平均平方、ＮＺ _i ：発音非周期
性、ＡＲ _i ：平均発音数）で表示されるものである。

この課題を解決するために、本発明の音響再生プログラムは、請求項３記載の音響再生方法を、コンピュータに機能させるためのものである。

この課題を解決するために、本発明の記録媒体は、請求項４記載の音響再生プログラムを記録したコンピュータ読み取り可能なものである。

本発明によれば、楽曲の音響信号からその音響変節点を自動的に抽出し、楽曲の再生時にその音響変節点情報を参照して再生を制御することができる。このため、いわゆる楽曲の音楽的な特徴を表す楽節の境界部分などから、即座に音響信号を再生することが可能になり、利用者に対して操作上の負担をかけることなく楽曲の特徴的な部分を再生提示することができる。

（実施の形態１）
先ず本発明の実施の形態に用いられる音響変節点抽出装置について説明する。図１は音響変節点抽出装置１０の全体構成を示すブロック図である。この音響変節点抽出装置１０は、入力された音響信号から、音響変節点を抽出して出力する装置であり、音響信号入力手段１１、特徴量抽出手段１２、評価関数算出手段１３、ピーク検出手段１４、選択手段１５を含んで構成される。

本実施の形態の説明に用いる音響変節点とは、楽曲の音響信号の変節点を示すもので、例えばイントロ部分からメインボーカルに入る部分、演奏楽器の種類が変化する部分、リズムが変化する部分、転調される部分、音圧が急に上昇する部分、メインメロディーからエンディングに入る部分などをいう。音響変節点の情報として、これらの音響変節点の種類をコード化した種別情報、音響変節点の発生時刻を示す時刻情報、音響変節点らしさを定量化した尤度情報等がある。これらの情報は人間の聴感覚（ビデオクリップのような映像が伴う場合は視聴感覚）と大脳で判断されるものであるが、本発明では物理的に判定できるものをその対象とする。時刻情報は、各曲の始まりからの経過時間を示し、通常ａｂ分、ｃｄ秒で表現される。譜面データが判明している場合は、小節番号などても特定できる。

音響信号入力手段１１は、オーディオＣＤ等に記録されているオーディオコンテンツ等、音響変節点を抽出する対象となる楽曲の音響信号を入力する。特徴量抽出手段１２は、音響信号入力手段１１で取得した音響信号を短時間のフレーム周期毎に分析し、１つ又は複数種類の音響変節点に関連のある予め定められた音響的特徴量を抽出して出力する。

評価関数算出手段１３は、特徴量抽出手段１２で抽出された特徴量から、音響変節点らしさの度合い、即ち音響変節点の尤度を表す評価関数を算出して出力する。ピーク検出手段１４は、評価関数算出手段１３で算出された評価関数がピーク（極大値）を示す１つ又は複数の部分を検出し、その時刻及びその値（ピーク値）を出力する。選択手段１５は、ピーク検出手段１４が出力したピーク部分の中から、音響変節点と考えられる１つ又は複数の部分の時刻情報とその属性情報を出力する。

ここで特徴量抽出手段１２の動作について詳細に説明する。特徴量抽出手段１２で抽出する音響的特徴量としては、（ａ）；信号の２乗平均平方根（ＲＭＳ）、（ｂ）；発音非周期性、（ｃ）；平均発音数などが用いられる。そこで夫々の特徴量について説明する。

（ａ）；２乗平均平方
２乗平均平方は、当該処理フレームにおける音響信号の振幅の大きさを表す特徴量である。ｉ番目の処理ブロックにおける信号の２乗平均平方ＲＭＳi は次の（１）式より導出される。

ここで、ｘ（ｎ）はブロック内時刻ｎにおける信号の振幅値を表し、Ｍは１ブロックのサンプル数を示す。ＲＭＳが大きいほど当該ブロック内の信号の平均振幅が大きく、ＲＭＳは当該楽曲の音の大きさの変化を表す特徴量となる。

（ｂ）；発音非周期性
発音非周期性（ビート非周期性ともいう）は、当該楽曲を構成する楽音の発音非周期性を表す特徴量である。楽曲の発音が規則的（周期的）になされている場合は発音非周期性が小さくなり、逆に楽曲発音パターンが変化する場合は発音非周期性が大きくなる。

図２は、発音非周期性を算出する発音非周期性算出部２０の構成図である。この発音非周期性算出部２０は、入力された音響信号から発音非周期性を算出して出力するものであり、立ち上がり成分検出器２１、自己相関算出器２２、周波数分析器２３、直流成分抽出器２４、最大値抽出器２５、除算器２６を含んで構成される。

立ち上がり成分検出器２１は、入力された音響信号から、楽曲中で発音されている楽音の立ち上がり成分を検出する。立ち上がり成分は、まず信号を短時間フレームに分けてフレーム毎に周波数分析し、前後フレーム及び隣接する周波数間の信号のパワー差から、急激にパワーが変化している信号部分を抽出することにより検出できる。立ち上がり成分の検出方法については、例えば文献（後藤・村岡：" 音楽音響信号に対するビートトラッキングシステム" ，情報処理学会研究報告，Vol.94, No.71, pp.49-56, 1994 ）に詳細が記載されている。

自己相関算出器２２は、立ち上がり成分検出器２１で検出した立ち上がり成分信号の自己相関関数を算出して出力する。周波数分析器２３は、自己相関算出器２２によって求められた立ち上がり成分の自己相関関数をフーリエ変換等により周波数分析を行い、周波数帯域毎のパワーを出力する。

直流成分抽出器２４は周波数分析器２３の出力信号から、直流成分のみを抽出してそのパワーを出力する。最大値抽出器２５は周波数分析器２３の出力信号のうち最も大きな値を示す帯域のパワーを出力する。除算器２６は直流成分抽出器２４の出力を最大値抽出器２５の出力で除算する、即ち周波数分析器２３で求まった信号のうち、直流成分のパワーを、最大値を示す帯域のパワーで除算して出力する。

立ち上がり成分の自己相関関数は、楽曲中で発音されている楽音の周期性を表し、楽音が周期的に発音されていれば、その周期において自己相関関数の当該周期部分の値が大きくなる。立ち上がり成分の自己相関関数を周波数分析すると、周期的に発音されていない楽音のパワーは直流成分に現れ、逆にその楽曲のリズムを形成するような主要楽音の周期成分が最大値として現れる。そこでそれらを除算することにより、分析対象となっている楽曲部分において、楽音が周期的に発音されているか否かを表す特徴量を抽出することができる。

例えば、ポピュラー音楽においては、一定のリズムパターンが繰り返し演奏される部分は一定の周期で楽音が発音されているため、発音非周期性が小さくなる。逆にリズムが急激に変化するいわゆるフィルイン部では楽音が周期的に発音される頻度が低下するため、発音非周期性が大きくなる。

（ｃ）；平均発音数
平均発音数は、当該楽曲を構成する楽音の単位時間あたりの発音頻度を表す特徴量である。図３は、平均発音数を算出する平均発音数算出部の構成図である。この平均発音数算出部３０は、入力された音響信号から平均発音数を算出して出力するもので、立ち上がり成分検出器３１、２値化器３２、積算器３３、平均値算出器３４を含んで構成される。

立ち上がり成分検出器３１は、入力された音響信号から、楽曲中で発音されている楽曲の立ち上がり成分を検出する。検出方法は図２の立ち上がり成分２１と同様であり、帯域毎に立ち上がり成分を出力する。２値化器３２は、入力信号の振幅の絶対値を調べ、振幅が閾値以下の場合、例えば０の場合は０を出力し、それ以外の値の場合（閾値を超える場合）は１を出力することにより、入力信号の２値化を行う。積算器３３は、入力された信号をフレーム時刻毎に周波数方向にその値を積算して出力する。平均値算出器３４は、入力された積算値の時間平均を算出して出力する。

このように立ち上がり成分を２値化処理することにより、フレーム時刻毎の各帯域での音の立ち上がりの有無を検出することができる。このため、その音の立ち上がりの有無をフレーム時刻毎に集計して平均処理をすることにより、分析対象区間における楽音の発音頻度の指標とすることができる。

図１において、評価関数算出手段１３で算出する評価関数は、音響変節点らしさの度合いを示すように設定される。例えば、特徴量抽出手段１２において、ｉ番目の処理ブロックにおける２乗平均平方をＲＭＳi とし、発音非周期性をＮＺi とし、平均発音数をＡＲi とすると、評価関数ＣＰi は次の（２）式によって定義できる。

２乗平均平方ＲＭＳは楽音の大きさを、発音非周期性ＮＺは楽音の発音リズムの変化度合いを、平均発音数ＡＲは楽音の発音頻度、即ち「賑々しさ」を表現している。このため、それらを乗算した（２）式の評価関数は、当該処理ブロックが「音が大きく、リズムの変化が大きく、賑やかな」ほど音響変節点らしいという意味合いを持つことになる。例えばポピュラー音楽の場合は、楽曲がイントロ→Ａメロ→サビ→Ｂメロ→エンディングというように、幾つかの楽節から構成されることが一般的である。各楽節の間には楽節の変化を明確に表現するために、フィルインと呼ばれる前後とはリズムパターンの異なる短時間の演奏パターンが挿入されることが多い。また楽節間ではリズムパターンが大きく変化するなどのリズムの変化を伴うことが多い。またこの部分は楽曲の中の大きなアクセントとして演奏されることが多いので、楽曲を構成する演奏音（楽器音）の増加、音量の増加が見られることが多いことが音楽的経験則より導かれる。そこでこのような楽節間の変化を検出するために、（２）式が定義された。

尚、評価関数算出手段１３で算出する評価関数は、（２）式のように３つの変数を乗算した乗算値を用いたが、何れか２つの乗算値、又は何れか１つの変数のみでもよい。

図４は、ある楽曲における特徴量（２乗平均平方、発音非周期性、平均発音数）及び評価関数の算出例である。図４において、変節点１、２，３はそれぞれ楽曲のサビの部分の開始点の時刻を表している。図中のＣＰ１、ＣＰ２、ＣＰ３は、評価関数ＣＰが極大値を示している部分である。この図より、変節点において評価関数が極大値を示していることが分かる。

図１のピーク検出手段１４は、音響変節点の候補として、評価関数からそのピーク（極大値）示す部分を検出する。図４の評価関数ＣＰの場合では、ＣＰ１、ＣＰ２，ＣＰ３を含むピークを示す部分の時刻及びその大きさを出力する。そして選択手段１５は、ピーク検出手段１４で検出されたピークから、予め定めた手順に従って音響変節点と思われる部分を選択する。この場合の音響変節点の情報として、前述したように種別情報、時刻情報、尤度情報等のうち、後の処理に必要な情報が選択される。選択の手順としては、例えば、値の大きいピークから順に音響変節点として尤度の高いものを出力する方法がある。図４の例では、ＣＰ１、ＣＰ２、ＣＰ３の順に音響変節点としてその時刻情報を出力し、また夫々の属性情報としてそのピーク値を音響変節点尤度として付加する。

また、選択手段１５において、評価関数のピークを選択する際に閾値を定めておき、閾値以下の大きさのピークは音響変節点の候補から除外することにより、音響変節点の検出誤りを抑えることができる。また、音響変節点は、Ａメロとサビとの間など「一定の時間長をもつ楽節の境界を示す」という音楽的経験則から、時間的制約条件に基づいて設定される場合がある。

図５は評価関数から抽出したピークを模式的に示した説明図である。図５において、Ｐ１〜Ｐ５は評価関数からピーク検出手段１４により抽出された音響変節点の候補を示している。音響変節点の最小時間間隔ＣＰmin を予め定めておくと、ＣＰmin より時間間隔が短いピーク間隔は音楽的経験則から妥当でないと考えられ、即ち、ピークのどちらかが音響変節点として適切でないと考えられる。このため、ピークの大きさが小さい方が誤検出である可能性が高くなる。そこで、図５の例では、ピークＰ３とＰ５の間隔がＣＰmin より小さいので、ピークＰ５を音響変節点候補から除外する。このような処理により、音響変節点の検出誤りを抑えることができる。

次に本発明の実施の形態１による音響再生装置について説明する。図６は本発明の実施の形態１における音響再生装置６０の構成図である。この音響再生装置６０は、音響信号格納手段６１、音響変節点抽出手段６２、楽曲属性記憶手段６３、音響再生手段６４、再生制御手段６５を含んで構成される。

音響再生装置６０は、以下の手順で音響信号格納手段６１に記録されている音響信号を再生する。先ず音響変節点抽出手段６２は、音響信号格納手段６１に格納されている音響信号から各楽曲の音響変節点を抽出し、抽出した音響変節点情報を楽曲属性記憶手段６３の当該レコードに格納する。次に、利用者から再生指示があった場合は、再生制御手段６５は楽曲属性記憶手段６３を参照しながら楽曲の再生開始位置を音響再生手段６４に指定する。そして楽曲再生手段６４は音響信号格納手段６１の当該楽曲を指定された部分から再生する。

ここで音響再生装置６０の各部の構成及び動作の詳細を更に説明する。音響信号格納手段６１は、再生可能な形態で音響信号を記録している装置であり、例えばＣＤ、ＤＶＤ、ＨＤＤ、不揮発メモリ等のメディア、及びそのメディアに記録されている音響信号への参照手段を含んでいる。

音響変節点抽出手段６２は、音響信号格納手段６１に記録されている音響信号を入力とし、記録されている楽曲の音響変節点を抽出する。この音響変節点抽出手段６２は前述した音響変節点抽出装置と同一の構成を有し、各楽曲の音響変節点を示す時刻情報及びその属性情報を出力する点で、その動作も同一である。

楽曲属性記憶手段６３は、音響変節点抽出手段６２によって抽出された音響変節点に関する情報や、楽曲に伴って提供される演奏時間長などの楽曲属性情報などを記録する。図７に楽曲属性記憶手段に格納される楽曲１曲分の属性情報の例を示す。この楽曲属性情報は、例として音響信号格納手段６１がＣＤに記録されている音響信号を対象にしている。図７において、曲番号は当該楽曲を一意に同定可能な符号及び番号である。曲時間長は当該楽曲の演奏時間長である。音響変節点数は当該楽曲に含まれる音響変節点の数である。変節点時刻１及び２は、１及び２番目の音響変節点を示す時刻である。変節点尤度１及び２は、１及び２番目の音響変節点の尤度である。図７のような楽曲属性情報は、音響信号格納手段６１に記録されている楽曲毎に保持され、再生制御手段６５から随時参照可能なように格納されている。

再生制御手段６５は、利用者からの指示により音響格納手段６１に格納されている任意の楽曲に対して、利用者の選択した再生形態となるように音響再生手段６４を制御する。音響再生手段６４は、再生制御手段６５の制御に従って音響信号格納手段６１に格納されている任意の楽曲を再生し、利用者が聴取可能な音響信号として出力する。

楽曲の再生形態としては、楽曲の先頭からの再生、先頭から任意の時刻まで早送りしてからの再生、再生開始時刻を指定しての再生など、通常のＣＤで可能な再生形態に加えて、音響変節点からの再生が選択可能となる。

利用者の再生指示方法及びその場合の動作を、図６〜図８を使って説明する。図８は音響再生装置６０の再生操作部８０を表している。この再生操作部８０には、再生ボタン８１、停止ボタン８２、一時停止ボタン８３、早送りボタン８４、巻き戻しボタン８５、スキップボタン８６、頭だしボタン８７、変節点スキップボタン８８、変節点頭だしボタン８９、楽曲指定ボタン８１０が設けられている。ＣＤの最初から順に楽曲を再生する場合は、利用者が再生ボタン８１を押すと、図６の再生制御手段６５は楽曲属性記憶手段６３に記録されている当該ＣＤの属性情報にアクセスし、曲番号に対応した楽曲の順番に従って音響信号格納手段６１に格納されている楽曲の音響信号にアクセスする。音響再生手段６４はこのようなアクセス制御によって夫々の楽曲を再生する。

変節点スキップボタン８８が押されると、再生制御手段６５は楽曲属性記憶手段６３に記録され、再生対象となっている楽曲の属性情報を参照し、再生を開始する変節点時刻情報を取得する。そして再生制御手段６５は、その時刻を再生開始時刻として音響再生手段６４に指示することにより、変節点からの再生を開始する。再生中に再び変節点スキップボタン８８が押されると、同様の手順で再生制御手段６５は次の変節点時刻を取得し、その時刻から再生を開始するように音響再生手段６４を制御する。

利用者が音響変節点からの再生を選択すると、楽曲の音楽的な区切り、即ちサビの開始部分やＡメロの開始部分などから再生を開始することができ、当該楽曲の音楽的特徴を示す部分から即座に再生開始が可能となる。また、音響変節点からの再生を選択した場合は、変節点の選択方法として、変節点尤度の高い（図７においては番号が小さい）時刻から優先的に再生する方法や、変節点時刻の早い順に優先的に再生する方法などがある。いずれにしても利用者の選択やシステムの設定により再生時の変節点の選択方法を予め定めるものとする。

なお、以上の実施の形態では、例として音響信号格納手段６１はＣＤに格納されている信号を参照するものとして説明したが、ＤＶＤ、ＨＤＤ、不揮発メモリ等他の媒体に記録されている信号でも同様に適用できる。

（実施の形態２）
次に本発明の音響変節点抽出技術の実施の形態２として、音響再生システムについて説明する。図９はこの音響再生システム９００の構成を表すブロック図である。この音響再生システム９００は、情報提供装置９０１、通信網９１、音響再生装置９０２、情報提供装置９０３を含んで構成される。情報提供装置９０１又は９０３は、音響再生装置９０２に楽曲属性情報を提供することを主目的とした装置であり、第１の音響信号格納手段９２、音響変節点抽出手段９３、楽曲属性記憶手段９４を有している。音響再生装置９０２は、ＣＤ等に記録された音響信号を利用者による操作により再生するための装置であり、第２の音響信号格納手段９５、属性取得手段９６、音響再生手段９７、再生制御手段９８を有している。

音響再生装置９０２は、インターネット等に代表される通信網９１を経由して情報提供装置９０１又は情報提供装置９０３に接続される。音響再生装置９０２は、音響信号格納手段９５に格納された音響信号を再生する際、必要に応じて情報提供装置９０１から情報を取得することにより、音響変節点を利用した再生ができる。

次に音響再生システム９００の各部構成及び動作の詳細について更に説明する。情報提供装置９０１の音響信号格納手段９２は、再生可能な形態で音響信号を記録するものであり、例えばＣＤ、ＤＶＤ、ＨＤＤ、不揮発メモリ等のメディア、及びそのメディアに記録されている音響信号への参照手段を含んでいる。

音響変節点抽出手段９３は、音響信号格納手段９２に記録されている音響信号を入力とし、記録されている楽曲の音響変節点を抽出する。音響変節点抽出手段９３は前述した音響変節点抽出装置とその構成と動作が同一であり、各楽曲の音響変節点を示す時刻情報及びその属性情報を出力する。

楽曲属性記憶手段９４は、音響変節点抽出手段９３によって抽出された音響変節点に関する情報や、楽曲に伴って提供される演奏時間長などの楽曲属性情報を記録する。楽曲属性情報は実施の形態２で説明した内容と同様である。

音響再生装置９０２において、音響信号格納手段９５は再生可能な形態で音響信号を記録しているメモリであり、例えばＣＤ、ＤＶＤ、ＨＤＤ、不揮発メモリ等のメディア、及びそのメディアに記録されている音響信号への参照手段を含んでいる。音響信号格納手段９５に格納されている楽曲には、図７に記載されているように、各楽曲を一意に表すことが可能な曲番号が予め付与されており、属性取得手段９６から参照が可能となっている。

属性取得手段９６は、音響信号格納手段９５に格納されている楽曲の一部又は全部の楽曲属性情報を、情報提供装置９０１の楽曲属性記憶手段９４を参照して取得する。楽曲属性記憶手段９４から、音響信号格納手段９５に記録された楽曲の属性情報を取得する際に、前述の各楽曲に付与された曲番号をキーとして参照することにより、その曲番号に該当する楽曲属性情報を取得することができる。

再生制御手段９８は、利用者からの指示により音響格納手段９５に格納されている任意の楽曲に対して、利用者の選択した再生形態となるように音響再生手段９７を制御する。音響再生手段９７は、再生制御手段９８の制御に従って音響信号格納手段９５に格納されている任意の楽曲を再生し、利用者が聴取可能な音響信号として出力する。再生形態は実施の形態２で説明した音響再生装置６０と同様であり、再生制御に際して楽曲属性情報が必要な場合には、属性取得手段９６により取得した各楽曲の楽曲属性情報を利用する。

また、音響再生装置９０２は、情報提供装置９０１以外の情報提供装置９０３を参照することができる。情報提供装置９０３は、情報提供装置９０１と同様に、楽曲の属性情報を提供する装置である。

属性取得手段９６は、先ず音響信号格納手段９５に格納された楽曲の属性情報を取得するために情報提供装置９０１を参照するが、もし当該楽曲の属性情報が情報提供装置９０１から取得できなかった場合は、他の情報提供装置９０３を参照して当該楽曲の属性情報の取得を試みる。このように属性情報を複数の情報提供装置から取得可能なように構成することにより、属性情報取得の確度を向上することができる。

尚、複数の情報提供装置への参照先の指定方法は、予め属性取得手段９６において優先度を設定しておき、その優先度の順番で参照する方法や、利用者が随意に参照先を選択できるようにする方法などがある。

尚、情報提供装置９０１は、音響変節点抽出手段９３で音響信号から音響変節点を抽出しているが、他の情報提供装置９０３は必ずしも音響変節点抽出手段を具備する必要はなく、音響変節点抽出手段の部分を他の手段、例えば手作業による変節点の抽出で代行してもよい。

（実施の形態３）
次に本発明の実施の形態３として、音響配信システムについて説明する。図１０は本発明の実施の形態４における音響配信システム１０００の構成図である。この音響配信システム１０００は、実施の形態３で説明した音響再生システム９００に対して、楽曲取得手段９９を付加した構成となっている。このため、ここでは実施の形態３との相違点についてのみ説明する。

図１０の情報提供装置９０１は、楽曲属性情報に加えて、第１の音響格納手段９２に格納された楽曲の音響信号データを音響再生装置９０２に対して提供することができる。そして音響再生装置９０２は、第２の音響信号格納手段９５に格納された音響信号に加えて、情報提供装置９０３から提供された楽曲の音響信号を楽曲取得手段９９を介して再生することができる。音響信号格納手段９５に記録された音響信号の再生方法は実施の形態３と同様である。以下、情報提供装置９０３より提供された楽曲の音響信号を再生する方法について説明する。

情報提供装置９０３は、音響信号格納手段９２に格納されている楽曲の一部又は全部のリストを予め音響再生装置９０２に提供しておく。利用者により前記のリストに記載の楽曲が再生楽曲として選択されると、属性取得手段９６は当該楽曲の属性情報を楽曲属性記憶手段９４より通信網９１を介して取得すると共に、楽曲取得手段９９は当該楽曲の音響信号を音響信号格納手段９２より取得し格納する。利用者から再生指示が与えられると、再生制御手段９８は指示された再生方法に則り、楽曲を再生するように音響再生手段９７を制御する。この際、音響再生手段９７は楽曲取得手段９９に格納された当該楽曲の音響信号データを再生する。

また実施の形態で説明した音響再生処理を、コンピュータに機能させるためのプログラムとして記録媒体に記憶させることができる。この場合のプログラムを音響再生プログラムと呼び、このプログラムを記録した記録媒体を音響再生プログラムの記録媒体と呼ぶ。

本発明の実施の形態１に用いられる音響変節点抽出装置の構成図である。この音響変節点抽出装置に用いられる発音非周期性算出部の構成図である。音響変節点抽出装置に用いられる平均発音数算出部の構成図である。音響変節点抽出装置の特徴量抽出手段において、評価関数及び特徴量の測定例を示す特性図である。評価関数から抽出したピークを模式的に表す説明図である。本発明の実施の形態１における音響再生装置の構成図である。実施の形態１における音響再生装置において、楽曲１曲分の属性情報の例を表す説明図である。実施の形態１における音響再生装置において、再生操作部の概念図である。本発明の実施の形態２における音響再生システムの構成図である。本発明の実施の形態３における音響配信システムの構成図である。

符号の説明

１０音響変節点抽出装置
１１音響信号入力手段
１２特徴量抽出手段
１３評価関数算出手段
１４ピーク検出手段
１５選択手段
２０発音非周期性算出部
２１，３１立ち上がり成分検出器
２２自己相関算出器
２３周波数分析器
２４直流成分抽出器
２５最大値抽出器
２６除算器
３０平均発音数算出部
３２２値化器
３３積算器
３４平均値算出器
６０音響再生装置
６１，９２，９５，１１０１音響信号格納手段
６２，９３，１１０２音響変節点抽出手段
６３，９４楽曲属性記憶手段
６４，９７音響再生手段
６５，９８再生制御手段
８０再生操作部
８１再生ボタン
８２停止ボタン
８３一時停止ボタン
８４早送りボタン
８５巻き戻しボタン
８６スキップボタン
８７頭だしボタン
８８変節点スキップボタン
８９変節点頭だしボタン
８１０楽曲指定ボタン
９００，１０００音響再生システム
９０１，９０３情報提供装置
９１通信網
９６属性取得手段
９９楽曲取得手段

Claims

楽曲の音響信号を格納する音響信号格納手段と、
前記音響信号格納手段に格納された音響信号から、音響的な境界を示す音響変節点を抽出する音響変節点抽出手段と、
前記音響変節点抽出手段によって抽出された音響変節点の時刻または尤度を記憶する楽曲属性記憶手段と、
前記音響信号格納手段に格納された音響信号を、任意の位置から再生する音響再生手段と、
前記楽曲属性記憶手段に記録された音響変節点の時刻または尤度を参照して、前記音響再生手段の再生を制御する再生制御手段と、を具備し、
前記音響変節点抽出手段は、
楽曲の音響信号を入力する音響信号入力部と、
前記音響信号入力部より与えられた音響信号から、予め定めた音響的特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部によって抽出された音響的特徴量から、音響変節点の尤度を示す評価関数を算出する評価関数算出部と、
前記評価関数算出部によって算出された評価関数の値が極大値を示すピーク時刻及びピーク値を検出するピーク検出部と、
前記ピーク検出部によって検出されたピーク時刻及びピーク値から、所定値以上の尤度値を持つ音響変節点を選択する選択部と、を有し、
前記評価関数Ｃｐ _i は、
Ｃｐ _i ＝ＲＭＳ _i × ＮＺ _i × ＡＲ _i
（ＲＭＳ _i ：ｉ番目の処理ブロックにおける信号の２乗平均平方、ＮＺ _i ：発音非周期
性、ＡＲ _i ：平均発音数）
で表示される、音響再生装置。
前記再生制御手段は、
利用者が音響変節点からの再生を指示するための操作部を有し、
前記操作部の指示により任意の音響変節点からの再生を行う請求項１記載の音響再生装置。
楽曲の音響信号を格納する音響信号格納ステップと、
音響信号格納ステップの音響信号から、音響的な境界である音響変節点を抽出する音響変節点抽出ステップと、
前記音響変節点抽出ステップによって抽出された音響変節点の時刻または尤度を記憶する楽曲属性記憶ステップと、
前記音響信号格納ステップに格納された音響信号を、任意の位置から再生する音響再生ステップと、
前記楽曲属性記憶ステップに記録された音響変節点の時刻または尤度を参照して、前記音響再生ステップの再生を制御する再生制御ステップと、を具備し、
前記音響変節点抽出ステップは、
楽曲の音響信号を入力する音響信号入力ステップと、
前記音響信号入力ステップで与えられた音響信号から、予め定めた音響的特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップによって抽出された音響的特徴量から、音響変節点の尤度を示す評価関数を算出する評価関数算出ステップと、
前記評価関数算出ステップで算出された評価関数が極大値を示すピーク時刻及びピーク値を検出するピーク検出ステップと、
ピーク検出ステップによって検出されたピーク時刻及びピーク値から、所定値以上の尤度値を持つ音響変節点を選択する選択ステップと、を有し、
前記評価関数Ｃｐ _i は、
Ｃｐ _i ＝ＲＭＳ _i × ＮＺ _i × ＡＲ _i
（ＲＭＳ _i ：ｉ番目の処理ブロックにおける信号の２乗平均平方、ＮＺ _i ：発音非周期
性、ＡＲ _i ：平均発音数）
で表示される、音響再生方法。
請求項３記載の音響再生方法を、コンピュータに機能させるための音響再生プログラム。
請求項４記載の音響再生プログラムを記録したコンピュータ読み取り可能な記録媒体。