JP3886372B2 - 音響変節点抽出装置及びその方法、音響再生装置及びその方法、音響信号編集装置、音響変節点抽出方法プログラム記録媒体、音響再生方法プログラム記録媒体、音響信号編集方法プログラム記録媒体、音響変節点抽出方法プログラム、音響再生方法プログラム、音響信号編集方法プログラム - Google Patents
音響変節点抽出装置及びその方法、音響再生装置及びその方法、音響信号編集装置、音響変節点抽出方法プログラム記録媒体、音響再生方法プログラム記録媒体、音響信号編集方法プログラム記録媒体、音響変節点抽出方法プログラム、音響再生方法プログラム、音響信号編集方法プログラム Download PDFInfo
- Publication number
- JP3886372B2 JP3886372B2 JP2001380139A JP2001380139A JP3886372B2 JP 3886372 B2 JP3886372 B2 JP 3886372B2 JP 2001380139 A JP2001380139 A JP 2001380139A JP 2001380139 A JP2001380139 A JP 2001380139A JP 3886372 B2 JP3886372 B2 JP 3886372B2
- Authority
- JP
- Japan
- Prior art keywords
- acoustic
- inflection point
- acoustic signal
- music
- peak
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000000605 extraction Methods 0.000 title claims description 98
- 230000005236 sound signal Effects 0.000 title abstract description 28
- 238000011156 evaluation Methods 0.000 claims description 66
- 238000003860 storage Methods 0.000 claims description 64
- 238000004364 calculation method Methods 0.000 claims description 52
- 238000001514 detection method Methods 0.000 claims description 34
- 230000000630 rising effect Effects 0.000 claims description 34
- 238000004458 analytical method Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 10
- 238000005311 autocorrelation function Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 description 53
- 238000010586 diagram Methods 0.000 description 16
- 230000033764 rhythmic process Effects 0.000 description 9
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 7
- 241001342895 Chorus Species 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 4
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 3
- 239000013256 coordination polymer Substances 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 210000004720 cerebrum Anatomy 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/64—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/22—Means responsive to presence or absence of recorded information signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2545—CDs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/60—Solid state media
- G11B2220/61—Solid state media wherein solid state memory is used for storing A/V content
Description
【０００１】
【発明の属する技術分野】
本発明は、楽曲のオーディオ信号（音響信号）からその音楽の「サビ」の部分等の音響的な変節点を抽出する技術に関わり、特にこの音響変節点抽出方法を用いた音響変節点抽出装置、音響再生装置、音響編集装置、これらの音響変節点抽出方法及び音響再生方法のプログラムと、そのプログラムを記録した記録媒体に関するものである。
【０００２】
【従来の技術】
従来の楽曲の聴取形態として、先ずＣＤプレーヤでの利用者の楽曲聴取形態について例に挙げて説明する。利用者がオーディオＣＤに記録された楽曲を聴取する場合は、ＣＤの最初から順番に楽曲を再生するか、もしくは自分の聴取希望の楽曲番号を指定して再生・聴取するのが一般的である。楽曲の途中、例えば当該楽曲の歌の出だしや、歌の２番、サビ（ブリッジ）の部分から聴きたい場合は、ＣＤの早送りや巻き戻し機能を用いて、利用者が再生開始点を目的の場所まで移動してから聴取する必要がある。
【０００３】
次に、ＥＭＤ（電子音楽配信）用の試聴システムを例に挙げて説明する。ＥＭＤ用の試聴システムでは、販売する楽曲のサンプルとして、その楽曲の一部（20〜30秒程度）を利用者が試聴できるようにしているものが多い。そのような試聴用のサンプルは、販売促進という目的上、楽曲の特徴を最も端的に表現している音楽的部位を切り出している場合が多く、具体的には曲の歌い出しの部分や、サビの部分などの楽曲の一部を利用していることが多い。
【０００４】
【発明が解決しようとする課題】
しかしながら、前述したＣＤプレーヤの例の場合は、利用者がＣＤに収録されている特定の楽曲のサビの部分のみを聴きたいときは、先ず当該楽曲の再生を開始し、更に早送りや巻き戻し等の操作により楽曲を聞きながら、又はＣＤプレーヤに表示されるカウンタを見ることにより、利用者がサビの部分まで再生開始点を移動するという操作をしていた。このような方法は利用者に操作上の負担をかけるものであった。更に、１枚又は複数のＣＤの音楽的内容を短時間に把握するための聴取を行う場合は（いわゆるダイジェスト再生）、利用者が前記のような移動操作を繰り返し行わなければならず、操作上の負担は更に増加してしまう。
【０００５】
ＥＭＤ用の試聴システムの場合は、試聴用のサンプルの切り出しは、コンテンツ製作者や試聴システム製作者が当該楽曲全体を試聴し、その楽曲の音楽的特徴を端的に表現していると思われる部分を手作業で見つけ出している。このような作業は製作者にとって作業負担が大きくなり、そのための作成費用（コンテンツ編集作業）も大きな割合を占めていた。
【０００６】
以上の課題は、次のような事情に起因するものである。即ち、一般的に流通しているオーディオＣＤ等に記録されているオーディオコンテンツでは、楽曲の再生時間、開始時刻、終了時刻等の少数の外部的情報でしか定義されておらず、歌の出だしの時刻、サビの開始時刻等、当該コンテンツの音楽的な特徴に根ざした音響変節点に関する情報（音響変節点の時刻情報）が含まれていない。
【０００７】
本発明は、このような従来の問題点に鑑みてなされたものであって、オーディオＣＤ等に記録されている楽曲のオーディオ信号から、音楽的特徴を表現する音響変節点を抽出し、その音響変節点を利用して利用者の負担なく効率よく楽曲コンテンツの再生、編集及び作成を行う技術を実現することを目的とする。
【０００８】
【課題を解決するための手段】
本願の請求項１の発明は、楽曲の音響信号を入力する音響信号入力手段と、前記音響信号入力手段より与えられた音響信号から、予め定めた音響的特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段によって抽出された音響的特徴量から、音響変節点の尤度を示す評価関数を算出する評価関数算出手段と、前記評価関数算出手段によって算出された評価関数の値が極大値を示すピーク時刻及びピーク値を検出するピーク検出手段と、前記ピーク検出手段によって検出されたピーク時刻及びピーク値から、所定値以上の尤度値を持つ音響変節点を選択する選択手段と、を具備することを特徴とするものである。
【０００９】
本願の請求項２の発明は、請求項１記載の音響変節点抽出装置において、前記特徴量抽出手段は、音響信号の２乗平均平方を算出する２乗平均平方算出部、音響信号の発音非周期性を算出する発音非周期性算出部、音響信号の平均発音数を算出する平均発音数算出部、の何れかを具備することを特徴とするものである。
【００１０】
本願の請求項３の発明は、請求項１記載の音響変節点抽出装置において、前記評価関数算出手段は、音響信号の２乗平均平方、発音非周期性、平均発音数の内、少なくとも２つの値を乗算した値を評価関数として出力することを特徴とするものである。
【００１１】
本願の請求項４の発明は、請求項２記載の音響変節点抽出装置において、前記発音非周期性算出部は、音響信号の立ち上がり成分を検出する立ち上がり成分検出器と、前記立ち上がり成分検出部で得られた立ち上がり成分の自己相関関数を算出する自己相関算出器と、前記自己相関算出器で算出された自己相関関数の周波数分析を行う周波数分析器と、前記周波数分析器の出力から直流成分を抽出する直流成分抽出器と、前記周波数分析器の出力から最大値をもつ周波数成分を抽出する最大値抽出器と、前記直流成分抽出器の出力を前記最大値抽出器の出力で除算する除算器と、を具備することを特徴とする。
【００１２】
本願の請求項５の発明は、請求項３記載の音響変節点抽出装置において、前記平均発音数算出部は、音響信号の各周波数帯域における立ち上がり成分を検出する立ち上がり成分検出器と、前記立ち上がり成分検出器で検出された立ち上がり成分の出力が閾値以下の場合は０を出力し、前記閾値を超える場合は１を出力する２値化器と、前記２値化器の出力を周波数方向に積算する積算器と、前記積算器の出力の時間平均を算出する平均値算出器と、を具備することを特徴とする。
【００１５】
本願の請求項６の発明は、請求項１記載の音響変節点抽出装置において、前記選択手段は、音響変節点の時間間隔が予め定めた時間間隔以上となるように、前記ピーク検出手段により検出されたピーク値から音響変節点を選択することを特徴とする。
【００１６】
本願の請求項７の発明は、楽曲の音響信号を格納する音響信号格納手段と、前記音響信号格納手段に格納された音響信号から、音響的な境界を示す音響変節点を抽出する音響変節点抽出手段と、前記音響変節点抽出手段によって抽出された音響変節点を含む楽曲の属性情報を記憶する楽曲属性記憶手段と、前記音響信号格納手段に格納された音響信号を、任意の位置から再生する音響再生手段と、前記楽曲属性記憶手段に記録された楽曲の属性情報を参照して、前記音響再生手段の再生を制御する再生制御手段と、を具備し、前記音響変節点抽出手段は、楽曲の音響信号を入力する音響信号入力部と、前記音響信号入力部より与えられた音響信号から、予め定めた音響的特徴量を抽出する特徴量抽出部と、前記特徴量抽出部によって抽出された音響的特徴量から、音響変節点の尤度を示す評価関数を算出する評価関数算出部と、前記評価関数算出部によって算出された評価関数の値が極大値を示すピーク時刻及びピーク値を検出するピーク検出部と、前記ピーク検出部によって検出されたピーク時刻及びピーク値から、所定値以上の尤度値を持つ音響変節点を選択する選択部と、を有することを特徴とする。
【００１８】
本願の請求項８の発明は、請求項７記載の音響再生装置において、前記再生制御手段は、利用者が音響変節点からの再生を指示するための操作部を有し、前記操作部の指示により任意の音響変節点からの再生を行うことを特徴とする。
【００２０】
本願の請求項９の発明は、請求項７記載の音響再生装置において、前記音響変節点抽出手段は、各音響変節点の時刻情報と尤度情報とを出力し、前記再生制御手段は、前記尤度情報に基づいて音響変節点からの再生を制御することを特徴とする。
【００２１】
本願の請求項１０の発明は、楽曲の音響信号を格納する音響信号格納手段と、前記音響信号格納手段の音響信号から音響的な境界である音響変節点を抽出する音響変節点抽出手段と、前記音響変節点抽出手段によって抽出された音響変節点に基づいて、楽曲の編集を行うための信号区間を算出する区間算出手段と、前記区間算出手段によって算出された信号区間に基づいて、前記音響信号格納手段に格納されている当該楽曲の音響信号を編集する音響信号編集手段と、を具備し、前記音響変節点抽出手段は、楽曲の音響信号を入力する音響信号入力部と、前記音響信号入力部より与えられた音響信号から、予め定めた音響的特徴量を抽出する特徴量抽出部と、前記特徴量抽出部によって抽出された音響的特徴量から、音響変節点の尤度を示す評価関数を算出する評価関数算出部と、前記評価関数算出部によって算出された評価関数の値が極大値を示すピーク時刻及びピーク値を検出するピーク検出部と、前記ピーク検出部によって検出されたピーク時刻及びピーク値から、所定値以上の尤度値を持つ音響変節点を選択する選択部と、を有することを特徴とする。
【００２２】
本願の請求項１１の発明は、請求項１０記載の音響信号編集装置において、前記音響変節点抽出手段は、音響変節点の時刻情報を出力すると共に、前記音響変節点の尤度情報を算出して出力し、前記区間算出手段は、算出された音響変節点の尤度情報に基づいて信号区間を算出することを特徴とする。
【００２３】
本願の請求項１２の発明は、楽曲の音響信号を入力する音響信号入力ステップと、前記音響信号入力ステップで与えられた音響信号から、予め定めた音響的特徴量を抽出する特徴量抽出ステップと、前記特徴量抽出ステップによって抽出された音響的特徴量から、音響変節点の尤度を示す評価関数を算出する評価関数算出ステップと、前記評価関数算出ステップで算出された評価関数が極大値を示すピーク時刻及びピーク値を検出するピーク検出ステップと、ピーク検出ステップによって検出されたピーク時刻及びピーク値から、所定値以上の尤度値を持つ音響変節点を選択する選択ステップと、を具備することを特徴とする。
【００２４】
本願の請求項１３の発明は、楽曲の音響信号を格納する音響信号格納ステップと、音響信号格納ステップの音響信号から、音響的な境界である音響変節点を抽出する音響変節点抽出ステップと、前記音響変節点抽出ステップによって抽出された音響変節点を含む楽曲の属性情報を記憶する楽曲属性記憶ステップと、前記音響信号格納ステップに格納された音響信号を、任意の位置から再生する音響再生ステップと、前記楽曲記憶ステップに記録された楽曲の属性情報を参照して、前記音響再生ステップの再生を制御する再生制御ステップと、を具備し、前記音響変節点抽出ステップは、楽曲の音響信号を入力する音響信号入力ステップと、前記音響信号入力ステップで与えられた音響信号から、予め定めた音響的特徴量を抽出する特徴量抽出ステップと、前記特徴量抽出ステップによって抽出された音響的特徴量から、音響変節点の尤度を示す評価関数を算出する評価関数算出ステップと、前記評価関数算出ステップで算出された評価関数が極大値を示すピーク時刻及びピーク値を検出するピーク検出ステップと、ピーク検出ステップによって検出されたピーク時刻及びピーク値から所定値以上の尤度値を持つ音響変節点を選択する選択ステップと、を有することを特徴とする。
【００２６】
本願の請求項１４の発明は、楽曲の音響信号を格納する音響信号格納ステップと、前記音響信号格納ステップの音響信号から音響的な境界である音響変節点を抽出する音響変節点抽出ステップと、前記音響変節点抽出ステップによって抽出された音響変節点に基づいて、楽曲の編集を行う信号区間を算出する区間算出ステップと、前記区間算出ステップによって算出された信号区間に基づいて、前記音響信号格納ステップに格納されている当該楽曲の音響信号を編集する音響信号編集ステップと、を具備することを特徴とする。
【００２７】
本願の請求項１５の音響変節点抽出方法プログラム記録媒体は、請求項１２記載の音響変節点抽出処理をコンピュータに機能させるためのプログラムとして記録したことを特徴とする。
【００２８】
本願の請求項１６の音響再生方法プログラム記録媒体は、請求項１３記載の音響再生処理をコンピュータに機能させるためのプログラムとして記録したことを特徴とする。
【００２９】
本願の請求項１７の音響信号編集方法プログラム記録媒体は、請求項１４記載の音響信号編集処理をコンピュータに機能させるためのプログラムとして記録したことを特徴とする。
【００３０】
本願の請求項１８の音響変節点抽出方法プログラムは、請求項１２記載の音響変節点抽出処理をコンピュータに機能させるためのプログラムであることを特徴とする。
【００３１】
本願の請求項１９の音響再生方法プログラムは、請求項１３記載の音響再生処理をコンピュータに機能させるためのプログラムであることを特徴とする。
【００３２】
本願の請求項２０の音響信号編集方法プログラムは、請求項１４記載の音響信号編集処理をコンピュータに機能させるためのプログラムであることを特徴とする。
【００３３】
【発明の実施の形態】
（実施の形態１）
先ず本発明の音響変節点抽出技術の実施の形態１として、音響変節点抽出装置について説明する。図１は本発明の実施の形態１における音響変節点抽出装置１０の全体構成を示すブロック図である。この音響変節点抽出装置１０は、入力された音響信号から、音響変節点を抽出して出力する装置であり、音響信号入力手段１１、特徴量抽出手段１２、評価関数算出手段１３、ピーク検出手段１４、選択手段１５を含んで構成される。
【００３４】
本実施の形態の説明に用いる音響変節点とは、楽曲の音響信号の変節点を示すもので、例えばイントロ部分からメインボーカルに入る部分、演奏楽器の種類が変化する部分、リズムが変化する部分、転調される部分、音圧が急に上昇する部分、メインメロディーからエンディングに入る部分などをいう。音響変節点の情報として、これらの音響変節点の種類をコード化した種別情報、音響変節点の発生時刻を示す時刻情報、音響変節点らしさを定量化した尤度情報等がある。これらの情報は人間の聴感覚（ビデオクリップのような映像が伴う場合は視聴感覚）と大脳で判断されるものであるが、本発明では物理的に判定できるものをその対象とする。時刻情報は、各曲の始まりからの経過時間を示し、通常ａｂ分、ｃｄ秒で表現される。譜面データが判明している場合は、小節番号などても特定できる。
【００３５】
音響信号入力手段１１は、オーディオＣＤ等に記録されているオーディオコンテンツ等、音響変節点を抽出する対象となる楽曲の音響信号を入力する。特徴量抽出手段１２は、音響信号入力手段１１で取得した音響信号を短時間のフレーム周期毎に分析し、１つ又は複数種類の音響変節点に関連のある予め定められた音響的特徴量を抽出して出力する。
【００３６】
評価関数算出手段１３は、特徴量抽出手段１２で抽出された特徴量から、音響変節点らしさの度合い、即ち音響変節点の尤度を表す評価関数を算出して出力する。ピーク検出手段１４は、評価関数算出手段１３で算出された評価関数がピーク（極大値）を示す１つ又は複数の部分を検出し、その時刻及びその値（ピーク値）を出力する。選択手段１５は、ピーク検出手段１４が出力したピーク部分の中から、音響変節点と考えられる１つ又は複数の部分の時刻情報とその属性情報を出力する。
【００３７】
ここで特徴量抽出手段１２の動作について詳細に説明する。特徴量抽出手段１２で抽出する音響的特徴量としては、（ａ）；信号の２乗平均平方根（ＲＭＳ）、（ｂ）；発音非周期性、（ｃ）；平均発音数などが用いられる。そこで夫々の特徴量について説明する。
【００３８】
（ａ）；２乗平均平方
２乗平均平方は、当該処理フレームにおける音響信号の振幅の大きさを表す特徴量である。ｉ番目の処理ブロックにおける信号の２乗平均平方ＲＭＳi は次の（１）式より導出される。
【数１】
ここで、ｘ（ｎ）はブロック内時刻ｎにおける信号の振幅値を表し、Ｍは１ブロックのサンプル数を示す。ＲＭＳが大きいほど当該ブロック内の信号の平均振幅が大きく、ＲＭＳは当該楽曲の音の大きさの変化を表す特徴量となる。
【００３９】
（ｂ）；発音非周期性
発音非周期性（ビート非周期性ともいう）は、当該楽曲を構成する楽音の発音非周期性を表す特徴量である。楽曲の発音が規則的（周期的）になされている場合は発音非周期性が小さくなり、逆に楽曲発音パターンが変化する場合は発音非周期性が大きくなる。
【００４０】
図２は、発音非周期性を算出する発音非周期性算出部２０の構成図である。この発音非周期性算出部２０は、入力された音響信号から発音非周期性を算出して出力するものであり、立ち上がり成分検出器２１、自己相関算出器２２、周波数分析器２３、直流成分抽出器２４、最大値抽出器２５、除算器２６を含んで構成される。
【００４１】
立ち上がり成分検出器２１は、入力された音響信号から、楽曲中で発音されている楽音の立ち上がり成分を検出する。立ち上がり成分は、まず信号を短時間フレームに分けてフレーム毎に周波数分析し、前後フレーム及び隣接する周波数間の信号のパワー差から、急激にパワーが変化している信号部分を抽出することにより検出できる。立ち上がり成分の検出方法については、例えば文献（後藤・村岡：" 音楽音響信号に対するビートトラッキングシステム" ，情報処理学会研究報告，Vol.94, No.71, pp.49-56, 1994 ）に詳細が記載されている。
【００４２】
自己相関算出器２２は、立ち上がり成分検出器２１で検出した立ち上がり成分信号の自己相関関数を算出して出力する。周波数分析器２３は、自己相関算出器２２によって求められた立ち上がり成分の自己相関関数をフーリエ変換等により周波数分析を行い、周波数帯域毎のパワーを出力する。
【００４３】
直流成分抽出器２４は周波数分析器２３の出力信号から、直流成分のみを抽出してそのパワーを出力する。最大値抽出器２５は周波数分析器２３の出力信号のうち最も大きな値を示す帯域のパワーを出力する。除算器２６は直流成分抽出器２４の出力を最大値抽出器２５の出力で除算する、即ち周波数分析器２３で求まった信号のうち、直流成分のパワーを、最大値を示す帯域のパワーで除算して出力する。
【００４４】
立ち上がり成分の自己相関関数は、楽曲中で発音されている楽音の周期性を表し、楽音が周期的に発音されていれば、その周期において自己相関関数の当該周期部分の値が大きくなる。立ち上がり成分の自己相関関数を周波数分析すると、周期的に発音されていない楽音のパワーは直流成分に現れ、逆にその楽曲のリズムを形成するような主要楽音の周期成分が最大値として現れる。そこでそれらを除算することにより、分析対象となっている楽曲部分において、楽音が周期的に発音されているか否かを表す特徴量を抽出することができる。
【００４５】
例えば、ポピュラー音楽においては、一定のリズムパターンが繰り返し演奏される部分は一定の周期で楽音が発音されているため、発音非周期性が小さくなる。逆にリズムが急激に変化するいわゆるフィルイン部では楽音が周期的に発音される頻度が低下するため、発音非周期性が大きくなる。
【００４６】
（ｃ）；平均発音数
平均発音数は、当該楽曲を構成する楽音の単位時間あたりの発音頻度を表す特徴量である。図３は、平均発音数を算出する平均発音数算出部の構成図である。この平均発音数算出部３０は、入力された音響信号から平均発音数を算出して出力するもので、立ち上がり成分検出器３１、２値化器３２、積算器３３、平均値算出器３４を含んで構成される。
【００４７】
立ち上がり成分検出器３１は、入力された音響信号から、楽曲中で発音されている楽曲の立ち上がり成分を検出する。検出方法は図２の立ち上がり成分２１と同様であり、帯域毎に立ち上がり成分を出力する。２値化器３２は、入力信号の振幅の絶対値を調べ、振幅が閾値以下の場合、例えば０の場合は０を出力し、それ以外の値の場合（閾値を超える場合）は１を出力することにより、入力信号の２値化を行う。積算器３３は、入力された信号をフレーム時刻毎に周波数方向にその値を積算して出力する。平均値算出器３４は、入力された積算値の時間平均を算出して出力する。
【００４８】
このように立ち上がり成分を２値化処理することにより、フレーム時刻毎の各帯域での音の立ち上がりの有無を検出することができる。このため、その音の立ち上がりの有無をフレーム時刻毎に集計して平均処理をすることにより、分析対象区間における楽音の発音頻度の指標とすることができる。
【００４９】
図１において、評価関数算出手段１３で算出する評価関数は、音響変節点らしさの度合いを示すように設定される。例えば、特徴量抽出手段１２において、ｉ番目の処理ブロックにおける２乗平均平方をＲＭＳi とし、発音非周期性をＮＺi とし、平均発音数をＡＲi とすると、評価関数ＣＰi は次の（２）式によって定義できる。
【数２】
【００５０】
２乗平均平方ＲＭＳは楽音の大きさを、発音非周期性ＮＺは楽音の発音リズムの変化度合いを、平均発音数ＡＲは楽音の発音頻度、即ち「賑々しさ」を表現している。このため、それらを乗算した（２）式の評価関数は、当該処理ブロックが「音が大きく、リズムの変化が大きく、賑やかな」ほど音響変節点らしいという意味合いを持つことになる。例えばポピュラー音楽の場合は、楽曲がイントロ→Ａメロ→サビ→Ｂメロ→エンディングというように、幾つかの楽節から構成されることが一般的である。各楽節の間には楽節の変化を明確に表現するために、フィルインと呼ばれる前後とはリズムパターンの異なる短時間の演奏パターンが挿入されることが多い。また楽節間ではリズムパターンが大きく変化するなどのリズムの変化を伴うことが多い。またこの部分は楽曲の中の大きなアクセントとして演奏されることが多いので、楽曲を構成する演奏音（楽器音）の増加、音量の増加が見られることが多いことが音楽的経験則より導かれる。そこでこのような楽節間の変化を検出するために、（２）式が定義された。
【００５１】
尚、評価関数算出手段１３で算出する評価関数は、（２）式のように３つの変数を乗算した乗算値を用いたが、何れか２つの乗算値、又は何れか１つの変数のみでもよい。
【００５２】
図４は、ある楽曲における特徴量（２乗平均平方、発音非周期性、平均発音数）及び評価関数の算出例である。図４において、変節点１、２，３はそれぞれ楽曲のサビの部分の開始点の時刻を表している。図中のＣＰ１、ＣＰ２、ＣＰ３は、評価関数ＣＰが極大値を示している部分である。この図より、変節点において評価関数が極大値を示していることが分かる。
【００５３】
図１のピーク検出手段１４は、音響変節点の候補として、評価関数からそのピーク（極大値）示す部分を検出する。図４の評価関数ＣＰの場合では、ＣＰ１、ＣＰ２，ＣＰ３を含むピークを示す部分の時刻及びその大きさを出力する。そして選択手段１５は、ピーク検出手段１４で検出されたピークから、予め定めた手順に従って音響変節点と思われる部分を選択する。この場合の音響変節点の情報として、前述したように種別情報、時刻情報、尤度情報等のうち、後の処理に必要な情報が選択される。選択の手順としては、例えば、値の大きいピークから順に音響変節点として尤度の高いものを出力する方法がある。図４の例では、ＣＰ１、ＣＰ２、ＣＰ３の順に音響変節点としてその時刻情報を出力し、また夫々の属性情報としてそのピーク値を音響変節点尤度として付加する。
【００５４】
また、選択手段１５において、評価関数のピークを選択する際に閾値を定めておき、閾値以下の大きさのピークは音響変節点の候補から除外することにより、音響変節点の検出誤りを抑えることができる。また、音響変節点は、Ａメロとサビとの間など「一定の時間長をもつ楽節の境界を示す」という音楽的経験則から、時間的制約条件に基づいて設定される場合がある。
【００５５】
図５は評価関数から抽出したピークを模式的に示した説明図である。図５において、Ｐ１〜Ｐ５は評価関数からピーク検出手段１４により抽出された音響変節点の候補を示している。音響変節点の最小時間間隔ＣＰmin を予め定めておくと、ＣＰmin より時間間隔が短いピーク間隔は音楽的経験則から妥当でないと考えられ、即ち、ピークのどちらかが音響変節点として適切でないと考えられる。このため、ピークの大きさが小さい方が誤検出である可能性が高くなる。そこで、図５の例では、ピークＰ３とＰ５の間隔がＣＰmin より小さいので、ピークＰ５を音響変節点候補から除外する。このような処理により、音響変節点の検出誤りを抑えることができる。
【００５６】
（実施の形態２）
次に本発明の音響変節点抽出技術の実施の形態２として、音響再生装置について説明する。図６は本発明の実施の形態２における音響再生装置６０の構成図である。この音響再生装置６０は、音響信号格納手段６１、音響変節点抽出手段６２、楽曲属性記憶手段６３、音響再生手段６４、再生制御手段６５を含んで構成される。
【００５７】
音響再生装置６０は、以下の手順で音響信号格納手段６１に記録されている音響信号を再生する。先ず音響変節点抽出手段６２は、音響信号格納手段６１に格納されている音響信号から各楽曲の音響変節点を抽出し、抽出した音響変節点情報を楽曲属性記憶手段６３の当該レコードに格納する。次に、利用者から再生指示があった場合は、再生制御手段６５は楽曲属性記憶手段６３を参照しながら楽曲の再生開始位置を音響再生手段６４に指定する。そして楽曲再生手段６４は音響信号格納手段６１の当該楽曲を指定された部分から再生する。
【００５８】
ここで音響再生装置６０の各部の構成及び動作の詳細を更に説明する。音響信号格納手段６１は、再生可能な形態で音響信号を記録している装置であり、例えばＣＤ、ＤＶＤ、ＨＤＤ、不揮発メモリ等のメディア、及びそのメディアに記録されている音響信号への参照手段を含んでいる。
【００５９】
音響変節点抽出手段６２は、音響信号格納手段６１に記録されている音響信号を入力とし、記録されている楽曲の音響変節点を抽出する。この音響変節点抽出手段６２は実施の形態１で説明した音響変節点抽出装置と同一の構成を有し、各楽曲の音響変節点を示す時刻情報及びその属性情報を出力する点で、その動作も同一である。
【００６０】
楽曲属性記憶手段６３は、音響変節点抽出手段６２によって抽出された音響変節点に関する情報や、楽曲に伴って提供される演奏時間長などの楽曲属性情報などを記録する。図７に楽曲属性記憶手段に格納される楽曲１曲分の属性情報の例を示す。この楽曲属性情報は、例として音響信号格納手段６１がＣＤに記録されている音響信号を対象にしている。図７において、曲番号は当該楽曲を一意に同定可能な符号及び番号である。曲時間長は当該楽曲の演奏時間長である。音響変節点数は当該楽曲に含まれる音響変節点の数である。変節点時刻１及び２は、１及び２番目の音響変節点を示す時刻である。変節点尤度１及び２は、１及び２番目の音響変節点の尤度である。図７のような楽曲属性情報は、音響信号格納手段６１に記録されている楽曲毎に保持され、再生制御手段６５から随時参照可能なように格納されている。
【００６１】
再生制御手段６５は、利用者からの指示により音響格納手段６１に格納されている任意の楽曲に対して、利用者の選択した再生形態となるように音響再生手段６４を制御する。音響再生手段６４は、再生制御手段６５の制御に従って音響信号格納手段６１に格納されている任意の楽曲を再生し、利用者が聴取可能な音響信号として出力する。
【００６２】
楽曲の再生形態としては、楽曲の先頭からの再生、先頭から任意の時刻まで早送りしてからの再生、再生開始時刻を指定しての再生など、通常のＣＤで可能な再生形態に加えて、音響変節点からの再生が選択可能となる。
【００６３】
利用者の再生指示方法及びその場合の動作を、図６〜図８を使って説明する。図８は音響再生装置６０の再生操作部８０を表している。この再生操作部８０には、再生ボタン８１、停止ボタン８２、一時停止ボタン８３、早送りボタン８４、巻き戻しボタン８５、スキップボタン８６、頭だしボタン８７、変節点スキップボタン８８、変節点頭だしボタン８９、楽曲指定ボタン８１０が設けられている。ＣＤの最初から順に楽曲を再生する場合は、利用者が再生ボタン８１を押すと、図６の再生制御手段６５は楽曲属性記憶手段６３に記録されている当該ＣＤの属性情報にアクセスし、曲番号に対応した楽曲の順番に従って音響信号格納手段６１に格納されている楽曲の音響信号にアクセスする。音響再生手段６４はこのようなアクセス制御によって夫々の楽曲を再生する。
【００６４】
変節点スキップボタン８８が押されると、再生制御手段６５は楽曲属性記憶手段６３に記録され、再生対象となっている楽曲の属性情報を参照し、再生を開始する変節点時刻情報を取得する。そして再生制御手段６５は、その時刻を再生開始時刻として音響再生手段６４に指示することにより、変節点からの再生を開始する。再生中に再び変節点スキップボタン８８が押されると、同様の手順で再生制御手段６５は次の変節点時刻を取得し、その時刻から再生を開始するように音響再生手段６４を制御する。
【００６５】
利用者が音響変節点からの再生を選択すると、楽曲の音楽的な区切り、即ちサビの開始部分やＡメロの開始部分などから再生を開始することができ、当該楽曲の音楽的特徴を示す部分から即座に再生開始が可能となる。また、音響変節点からの再生を選択した場合は、変節点の選択方法として、変節点尤度の高い（図７においては番号が小さい）時刻から優先的に再生する方法や、変節点時刻の早い順に優先的に再生する方法などがある。いずれにしても利用者の選択やシステムの設定により再生時の変節点の選択方法を予め定めるものとする。
【００６６】
なお、以上の実施の形態２では、例として音響信号格納手段６１はＣＤに格納されている信号を参照するものとして説明したが、ＤＶＤ、ＨＤＤ、不揮発メモリ等他の媒体に記録されている信号でも同様に適用できる。
【００６７】
（実施の形態３）
次に本発明の音響変節点抽出技術の実施の形態３として、音響再生システムについて説明する。図９は実施の形態３における音響再生システム９００の構成を表すブロック図である。この音響再生システム９００は、情報提供装置９０１、通信網９１、音響再生装置９０２、情報提供装置９０３を含んで構成される。情報提供装置９０１又は９０３は、音響再生装置９０２に楽曲属性情報を提供することを主目的とした装置であり、第１の音響信号格納手段９２、音響変節点抽出手段９３、楽曲属性記憶手段９４を有している。音響再生装置９０２は、ＣＤ等に記録された音響信号を利用者による操作により再生するための装置であり、第２の音響信号格納手段９５、属性取得手段９６、音響再生手段９７、再生制御手段９８を有している。
【００６８】
音響再生装置９０２は、インターネット等に代表される通信網９１を経由して情報提供装置９０１又は情報提供装置９０３に接続される。音響再生装置９０２は、音響信号格納手段９５に格納された音響信号を再生する際、必要に応じて情報提供装置９０１から情報を取得することにより、音響変節点を利用した再生ができる。
【００６９】
次に音響再生システム９００の各部構成及び動作の詳細について更に説明する。情報提供装置９０１の音響信号格納手段９２は、再生可能な形態で音響信号を記録するものであり、例えばＣＤ、ＤＶＤ、ＨＤＤ、不揮発メモリ等のメディア、及びそのメディアに記録されている音響信号への参照手段を含んでいる。
【００７０】
音響変節点抽出手段９３は、音響信号格納手段９２に記録されている音響信号を入力とし、記録されている楽曲の音響変節点を抽出する。音響変節点抽出手段９３は実施の形態１で説明した音響変節点抽出装置とその構成と動作が同一であり、各楽曲の音響変節点を示す時刻情報及びその属性情報を出力する。
【００７１】
楽曲属性記憶手段９４は、音響変節点抽出手段９３によって抽出された音響変節点に関する情報や、楽曲に伴って提供される演奏時間長などの楽曲属性情報を記録する。楽曲属性情報は実施の形態２で説明した内容と同様である。
【００７２】
音響再生装置９０２において、音響信号格納手段９５は再生可能な形態で音響信号を記録しているメモリであり、例えばＣＤ、ＤＶＤ、ＨＤＤ、不揮発メモリ等のメディア、及びそのメディアに記録されている音響信号への参照手段を含んでいる。音響信号格納手段９５に格納されている楽曲には、図７に記載されているように、各楽曲を一意に表すことが可能な曲番号が予め付与されており、属性取得手段９６から参照が可能となっている。
【００７３】
属性取得手段９６は、音響信号格納手段９５に格納されている楽曲の一部又は全部の楽曲属性情報を、情報提供装置９０１の楽曲属性記憶手段９４を参照して取得する。楽曲属性記憶手段９４から、音響信号格納手段９５に記録された楽曲の属性情報を取得する際に、前述の各楽曲に付与された曲番号をキーとして参照することにより、その曲番号に該当する楽曲属性情報を取得することができる。
【００７４】
再生制御手段９８は、利用者からの指示により音響格納手段９５に格納されている任意の楽曲に対して、利用者の選択した再生形態となるように音響再生手段９７を制御する。音響再生手段９７は、再生制御手段９８の制御に従って音響信号格納手段９５に格納されている任意の楽曲を再生し、利用者が聴取可能な音響信号として出力する。再生形態は実施の形態２で説明した音響再生装置６０と同様であり、再生制御に際して楽曲属性情報が必要な場合には、属性取得手段９６により取得した各楽曲の楽曲属性情報を利用する。
【００７５】
また、音響再生装置９０２は、情報提供装置９０１以外の情報提供装置９０３を参照することができる。情報提供装置９０３は、情報提供装置９０１と同様に、楽曲の属性情報を提供する装置である。
【００７６】
属性取得手段９６は、先ず音響信号格納手段９５に格納された楽曲の属性情報を取得するために情報提供装置９０１を参照するが、もし当該楽曲の属性情報が情報提供装置９０１から取得できなかった場合は、他の情報提供装置９０３を参照して当該楽曲の属性情報の取得を試みる。このように属性情報を複数の情報提供装置から取得可能なように構成することにより、属性情報取得の確度を向上することができる。
【００７７】
尚、複数の情報提供装置への参照先の指定方法は、予め属性取得手段９６において優先度を設定しておき、その優先度の順番で参照する方法や、利用者が随意に参照先を選択できるようにする方法などがある。
【００７８】
尚、情報提供装置９０１は、音響変節点抽出手段９３で音響信号から音響変節点を抽出しているが、他の情報提供装置９０３は必ずしも音響変節点抽出手段を具備する必要はなく、音響変節点抽出手段の部分を他の手段、例えば手作業による変節点の抽出で代行してもよい。
【００７９】
（実施の形態４）
次に本発明の音響変節点抽出技術の実施の形態４として、音響配信システムについて説明する。図１０は本発明の実施の形態４における音響配信システム１０００の構成図である。この音響配信システム１０００は、実施の形態３で説明した音響再生システム９００に対して、楽曲取得手段９９を付加した構成となっている。このため、ここでは実施の形態３との相違点についてのみ説明する。
【００８０】
図１０の情報提供装置９０１は、楽曲属性情報に加えて、第１の音響格納手段９２に格納された楽曲の音響信号データを音響再生装置９０２に対して提供することができる。そして音響再生装置９０２は、第２の音響信号格納手段９５に格納された音響信号に加えて、情報提供装置９０３から提供された楽曲の音響信号を楽曲取得手段９９を介して再生することができる。音響信号格納手段９５に記録された音響信号の再生方法は実施の形態３と同様である。以下、情報提供装置９０３より提供された楽曲の音響信号を再生する方法について説明する。
【００８１】
情報提供装置９０３は、音響信号格納手段９２に格納されている楽曲の一部又は全部のリストを予め音響再生装置９０２に提供しておく。利用者により前記のリストに記載の楽曲が再生楽曲として選択されると、属性取得手段９６は当該楽曲の属性情報を楽曲属性記憶手段９４より通信網９１を介して取得すると共に、楽曲取得手段９９は当該楽曲の音響信号を音響信号格納手段９２より取得し格納する。利用者から再生指示が与えられると、再生制御手段９８は指示された再生方法に則り、楽曲を再生するように音響再生手段９７を制御する。この際、音響再生手段９７は楽曲取得手段９９に格納された当該楽曲の音響信号データを再生する。
【００８２】
（実施の形態５）
次に本発明の音響変節点抽出技術の実施の形態５として、音響信号編集装置について説明する。図１１は本発明の実施の形態５における音響信号編集装置１１００の構成図である。この音響信号編集装置１１００は、音響信号格納手段１１０１、音響変節点抽出手段１１０２、区間区間算出手段１１０３、音響信号編集手段１１０４を含んで構成される。
【００８３】
この音響信号編集装置１１００は、特定の目的、例えばＥＭＤ（電子音楽配信）システムのための試聴用の音響信号を作成する場合のように、楽曲の音響信号から適切な時間長の音響信号部分を切り出すための編集装置である。以下、各部の構成及び動作の詳細を説明する。
【００８４】
音響信号格納手段１１０１は、再生可能な形態で音響信号を記録するものであり、例えばＣＤ、ＤＶＤ、ＨＤＤ、不揮発メモリ等のメディア、及びそのメディアに記録されている音響信号への参照手段を含んでいる。
【００８５】
音響変節点抽出手段１１０２は、音響信号格納手段１１０１に記録されている音響信号を入力とし、記録されている楽曲の音響変節点を抽出する。音響変節点抽出手段１１０２は実施の形態１で説明した音響変節点抽出装置と構成及び動作が同一であり、各楽曲の音響変節点を示す時刻情報及びその属性情報を出力する。
【００８６】
区間算出手段１１０３は、音響変節点抽出手段１１０２により抽出された音響変節点に関する情報に基づき、音響信号の切り出しに適した信号区間の開始点及び終了点時刻を算出して出力する。
【００８７】
切り出し区間の開始点及び終了点時刻の設定方法は、例えば次のような方法がある。音響変節点抽出手段１１０２により抽出された音響変節点を時刻順に整列し、各変節点の間の区間を切り出し区間とする。即ちこの場合の開始点は各変節点、終了点は開始点の次の変節点となる。音響変節点抽出手段１１０２により抽出された各音響変節点を切り出し区間の開始点とし、開始点から一定の時刻後（例えば３０秒など）を終了点とすることもできる。
【００８８】
音響信号編集手段１１０４は、音響信号格納手段１１０１に格納されている当該楽曲の音響信号に対して、区間算出手段１１０３により算出された区間情報に基づき、マーキングしたり又は音響信号の切り出しを行う。
【００８９】
マーキングは音響信号上に切り出し区間を明示的に示す印を付与するものであり、当該編集装置の利用者（音響信号の編集者）に対して対話的な信号編集方法を提供するものである。ここでの音響信号の切り出しは、当該時間区間の音響信号部分のみを抽出するものとする。
【００９０】
音響変節点抽出手段１１０２は、実施の形態１で説明したように、楽曲の音響的な変化点、即ち楽曲の楽節境界と思われる時刻を抽出するため、その変節点を開始点として信号を切り出す。このような構成により、音響信号の編集者は楽曲の音楽的な特徴に則った信号の切り出し、例えばサビの部分の切り出しなどを容易に行うことができる。
【００９１】
尚、区間算出手段１１０３により複数の区間が算出された場合、そのどの部分を切り出すかの選択は、例えば次のような方法がある。即ち音響信号編集手段１１０４で全ての切り出し区間をマーキングして編集者に提示し、編集者の随意により切り出し区間を選択する方法と、音響変節点を抽出する際に求めた属性情報のうち、音響変節点尤度を参照し、音響変節点尤度の尤も高い変節点が開始点である区間を切り出し区間として選択する方法とがある。
【００９２】
尚、実施の形態１で説明した音響変節点抽出処理を、コンピュータに機能させるためのプログラムとして記録媒体に記憶させることができる。この場合のプログラムを音響変節点抽出方法プログラムと呼び、このプログラムを記録した記録媒体を音響変節点抽出方法プログラム記録媒体と呼ぶ。
【００９３】
また実施の形態２で説明した音響再生処理を、コンピュータに機能させるためのプログラムとして記録媒体に記憶させることができる。この場合のプログラムを音響再生方法プログラムと呼び、このプログラムを記録した記録媒体を音響再生方法プログラム記録媒体と呼ぶ。
【００９４】
また実施の形態５で説明した音響信号編集処理を、コンピュータに機能させるためのプログラムとして記録媒体に記憶させることができる。この場合のプログラムを音響信号編集方法プログラムと呼び、このプログラムを記録した記録媒体を音響信号編集方法プログラム記録媒体と呼ぶ。
【００９５】
【発明の効果】
以上のように、本発明の音響変節点抽出装置によれば、楽曲の音響信号からその音響的特徴量を抽出し、その特徴量の変化に着目することにより、楽曲の音響的な境界を表す音響変節点を自動的に抽出できる。このため、音響変節点を抽出するために事前に楽曲を聴取する必要がなく、利用者に負担をかけることなく音響変節点を抽出することができる。
【００９６】
本発明の音響再生装置によれば、楽曲の音響信号からその音響変節点を自動的に抽出し、楽曲の再生時にその音響変節点情報を参照して再生を制御することができる。このため、いわゆる楽曲の音楽的な特徴を表す楽節の境界部分などから、即座に音響信号を再生することが可能になり、利用者に対して操作上の負担をかけることなく楽曲の特徴的な部分を再生提示することができる。
【００９７】
本発明の音響編集装置によれば、楽曲の音響信号から音響変節点を算出し、その音響変節点に基づいて楽曲の特徴的な部分を編集するための区間情報を自動的に算出することができる。このため、編集者は音響変節点を抽出するために事前に楽曲を聴取する必要がなく、したがって編集者に負担をかけることなく楽曲の特徴的な部分の切り出し等の編集作業を行うことができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１における音響変節点抽出装置の構成図である。
【図２】 実施の形態１の音響変節点抽出装置に用いられる発音非周期性算出部の構成図である。
【図３】 実施の形態１の音響変節点抽出装置に用いられる平均発音数算出部の構成図である。
【図４】 実施の形態１による音響変節点抽出装置の特徴量抽出手段において、評価関数及び特徴量の測定例を示す特性図である。
【図５】 評価関数から抽出したピークを模式的に表す説明図である。
【図６】 本発明の実施の形態２における音響再生装置の構成図である。
【図７】 実施の形態２における音響再生装置において、楽曲１曲分の属性情報の例を表す説明図である。
【図８】 実施の形態２における音響再生装置において、再生操作部の概念図である。
【図９】 本発明の実施の形態３における音響再生システムの構成図である。
【図１０】 本発明の実施の形態４における音響再生システムの構成図である。
【図１１】 本発明の実施の形態５における音響信号編集装置の構成図である。
【符号の説明】
１０ 音響変節点抽出装置
１１ 音響信号入力手段
１２ 特徴量抽出手段
１３ 評価関数算出手段
１４ ピーク検出手段
１５ 選択手段
２０ 発音非周期性算出部
２１，３１ 立ち上がり成分検出器
２２ 自己相関算出器
２３ 周波数分析器
２４ 直流成分抽出器
２５ 最大値抽出器
２６ 除算器
３０ 平均発音数算出部
３２ ２値化器
３３ 積算器
３４ 平均値算出器
６０ 音響再生装置
６１，９２，９５，１１０１ 音響信号格納手段
６２，９３，１１０２ 音響変節点抽出手段
６３，９４ 楽曲属性記憶手段
６４，９７ 音響再生手段
６５，９８ 再生制御手段
８０ 再生操作部
８１ 再生ボタン
８２ 停止ボタン
８３ 一時停止ボタン
８４ 早送りボタン
８５ 巻き戻しボタン
８６ スキップボタン
８７ 頭だしボタン
８８ 変節点スキップボタン
８９ 変節点頭だしボタン
８１０ 楽曲指定ボタン
９００，１０００ 音響再生システム
９０１，９０３ 情報提供装置
９１ 通信網
９６ 属性取得手段
９９ 楽曲取得手段
１１００ 音響信号編集装置
１１０３ 区間算出手段
１１０４ 音響信号編集手段
【発明の属する技術分野】
本発明は、楽曲のオーディオ信号（音響信号）からその音楽の「サビ」の部分等の音響的な変節点を抽出する技術に関わり、特にこの音響変節点抽出方法を用いた音響変節点抽出装置、音響再生装置、音響編集装置、これらの音響変節点抽出方法及び音響再生方法のプログラムと、そのプログラムを記録した記録媒体に関するものである。
【０００２】
【従来の技術】
従来の楽曲の聴取形態として、先ずＣＤプレーヤでの利用者の楽曲聴取形態について例に挙げて説明する。利用者がオーディオＣＤに記録された楽曲を聴取する場合は、ＣＤの最初から順番に楽曲を再生するか、もしくは自分の聴取希望の楽曲番号を指定して再生・聴取するのが一般的である。楽曲の途中、例えば当該楽曲の歌の出だしや、歌の２番、サビ（ブリッジ）の部分から聴きたい場合は、ＣＤの早送りや巻き戻し機能を用いて、利用者が再生開始点を目的の場所まで移動してから聴取する必要がある。
【０００３】
次に、ＥＭＤ（電子音楽配信）用の試聴システムを例に挙げて説明する。ＥＭＤ用の試聴システムでは、販売する楽曲のサンプルとして、その楽曲の一部（20〜30秒程度）を利用者が試聴できるようにしているものが多い。そのような試聴用のサンプルは、販売促進という目的上、楽曲の特徴を最も端的に表現している音楽的部位を切り出している場合が多く、具体的には曲の歌い出しの部分や、サビの部分などの楽曲の一部を利用していることが多い。
【０００４】
【発明が解決しようとする課題】
しかしながら、前述したＣＤプレーヤの例の場合は、利用者がＣＤに収録されている特定の楽曲のサビの部分のみを聴きたいときは、先ず当該楽曲の再生を開始し、更に早送りや巻き戻し等の操作により楽曲を聞きながら、又はＣＤプレーヤに表示されるカウンタを見ることにより、利用者がサビの部分まで再生開始点を移動するという操作をしていた。このような方法は利用者に操作上の負担をかけるものであった。更に、１枚又は複数のＣＤの音楽的内容を短時間に把握するための聴取を行う場合は（いわゆるダイジェスト再生）、利用者が前記のような移動操作を繰り返し行わなければならず、操作上の負担は更に増加してしまう。
【０００５】
ＥＭＤ用の試聴システムの場合は、試聴用のサンプルの切り出しは、コンテンツ製作者や試聴システム製作者が当該楽曲全体を試聴し、その楽曲の音楽的特徴を端的に表現していると思われる部分を手作業で見つけ出している。このような作業は製作者にとって作業負担が大きくなり、そのための作成費用（コンテンツ編集作業）も大きな割合を占めていた。
【０００６】
以上の課題は、次のような事情に起因するものである。即ち、一般的に流通しているオーディオＣＤ等に記録されているオーディオコンテンツでは、楽曲の再生時間、開始時刻、終了時刻等の少数の外部的情報でしか定義されておらず、歌の出だしの時刻、サビの開始時刻等、当該コンテンツの音楽的な特徴に根ざした音響変節点に関する情報（音響変節点の時刻情報）が含まれていない。
【０００７】
本発明は、このような従来の問題点に鑑みてなされたものであって、オーディオＣＤ等に記録されている楽曲のオーディオ信号から、音楽的特徴を表現する音響変節点を抽出し、その音響変節点を利用して利用者の負担なく効率よく楽曲コンテンツの再生、編集及び作成を行う技術を実現することを目的とする。
【０００８】
【課題を解決するための手段】
本願の請求項１の発明は、楽曲の音響信号を入力する音響信号入力手段と、前記音響信号入力手段より与えられた音響信号から、予め定めた音響的特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段によって抽出された音響的特徴量から、音響変節点の尤度を示す評価関数を算出する評価関数算出手段と、前記評価関数算出手段によって算出された評価関数の値が極大値を示すピーク時刻及びピーク値を検出するピーク検出手段と、前記ピーク検出手段によって検出されたピーク時刻及びピーク値から、所定値以上の尤度値を持つ音響変節点を選択する選択手段と、を具備することを特徴とするものである。
【０００９】
本願の請求項２の発明は、請求項１記載の音響変節点抽出装置において、前記特徴量抽出手段は、音響信号の２乗平均平方を算出する２乗平均平方算出部、音響信号の発音非周期性を算出する発音非周期性算出部、音響信号の平均発音数を算出する平均発音数算出部、の何れかを具備することを特徴とするものである。
【００１０】
本願の請求項３の発明は、請求項１記載の音響変節点抽出装置において、前記評価関数算出手段は、音響信号の２乗平均平方、発音非周期性、平均発音数の内、少なくとも２つの値を乗算した値を評価関数として出力することを特徴とするものである。
【００１１】
本願の請求項４の発明は、請求項２記載の音響変節点抽出装置において、前記発音非周期性算出部は、音響信号の立ち上がり成分を検出する立ち上がり成分検出器と、前記立ち上がり成分検出部で得られた立ち上がり成分の自己相関関数を算出する自己相関算出器と、前記自己相関算出器で算出された自己相関関数の周波数分析を行う周波数分析器と、前記周波数分析器の出力から直流成分を抽出する直流成分抽出器と、前記周波数分析器の出力から最大値をもつ周波数成分を抽出する最大値抽出器と、前記直流成分抽出器の出力を前記最大値抽出器の出力で除算する除算器と、を具備することを特徴とする。
【００１２】
本願の請求項５の発明は、請求項３記載の音響変節点抽出装置において、前記平均発音数算出部は、音響信号の各周波数帯域における立ち上がり成分を検出する立ち上がり成分検出器と、前記立ち上がり成分検出器で検出された立ち上がり成分の出力が閾値以下の場合は０を出力し、前記閾値を超える場合は１を出力する２値化器と、前記２値化器の出力を周波数方向に積算する積算器と、前記積算器の出力の時間平均を算出する平均値算出器と、を具備することを特徴とする。
【００１５】
本願の請求項６の発明は、請求項１記載の音響変節点抽出装置において、前記選択手段は、音響変節点の時間間隔が予め定めた時間間隔以上となるように、前記ピーク検出手段により検出されたピーク値から音響変節点を選択することを特徴とする。
【００１６】
本願の請求項７の発明は、楽曲の音響信号を格納する音響信号格納手段と、前記音響信号格納手段に格納された音響信号から、音響的な境界を示す音響変節点を抽出する音響変節点抽出手段と、前記音響変節点抽出手段によって抽出された音響変節点を含む楽曲の属性情報を記憶する楽曲属性記憶手段と、前記音響信号格納手段に格納された音響信号を、任意の位置から再生する音響再生手段と、前記楽曲属性記憶手段に記録された楽曲の属性情報を参照して、前記音響再生手段の再生を制御する再生制御手段と、を具備し、前記音響変節点抽出手段は、楽曲の音響信号を入力する音響信号入力部と、前記音響信号入力部より与えられた音響信号から、予め定めた音響的特徴量を抽出する特徴量抽出部と、前記特徴量抽出部によって抽出された音響的特徴量から、音響変節点の尤度を示す評価関数を算出する評価関数算出部と、前記評価関数算出部によって算出された評価関数の値が極大値を示すピーク時刻及びピーク値を検出するピーク検出部と、前記ピーク検出部によって検出されたピーク時刻及びピーク値から、所定値以上の尤度値を持つ音響変節点を選択する選択部と、を有することを特徴とする。
【００１８】
本願の請求項８の発明は、請求項７記載の音響再生装置において、前記再生制御手段は、利用者が音響変節点からの再生を指示するための操作部を有し、前記操作部の指示により任意の音響変節点からの再生を行うことを特徴とする。
【００２０】
本願の請求項９の発明は、請求項７記載の音響再生装置において、前記音響変節点抽出手段は、各音響変節点の時刻情報と尤度情報とを出力し、前記再生制御手段は、前記尤度情報に基づいて音響変節点からの再生を制御することを特徴とする。
【００２１】
本願の請求項１０の発明は、楽曲の音響信号を格納する音響信号格納手段と、前記音響信号格納手段の音響信号から音響的な境界である音響変節点を抽出する音響変節点抽出手段と、前記音響変節点抽出手段によって抽出された音響変節点に基づいて、楽曲の編集を行うための信号区間を算出する区間算出手段と、前記区間算出手段によって算出された信号区間に基づいて、前記音響信号格納手段に格納されている当該楽曲の音響信号を編集する音響信号編集手段と、を具備し、前記音響変節点抽出手段は、楽曲の音響信号を入力する音響信号入力部と、前記音響信号入力部より与えられた音響信号から、予め定めた音響的特徴量を抽出する特徴量抽出部と、前記特徴量抽出部によって抽出された音響的特徴量から、音響変節点の尤度を示す評価関数を算出する評価関数算出部と、前記評価関数算出部によって算出された評価関数の値が極大値を示すピーク時刻及びピーク値を検出するピーク検出部と、前記ピーク検出部によって検出されたピーク時刻及びピーク値から、所定値以上の尤度値を持つ音響変節点を選択する選択部と、を有することを特徴とする。
【００２２】
本願の請求項１１の発明は、請求項１０記載の音響信号編集装置において、前記音響変節点抽出手段は、音響変節点の時刻情報を出力すると共に、前記音響変節点の尤度情報を算出して出力し、前記区間算出手段は、算出された音響変節点の尤度情報に基づいて信号区間を算出することを特徴とする。
【００２３】
本願の請求項１２の発明は、楽曲の音響信号を入力する音響信号入力ステップと、前記音響信号入力ステップで与えられた音響信号から、予め定めた音響的特徴量を抽出する特徴量抽出ステップと、前記特徴量抽出ステップによって抽出された音響的特徴量から、音響変節点の尤度を示す評価関数を算出する評価関数算出ステップと、前記評価関数算出ステップで算出された評価関数が極大値を示すピーク時刻及びピーク値を検出するピーク検出ステップと、ピーク検出ステップによって検出されたピーク時刻及びピーク値から、所定値以上の尤度値を持つ音響変節点を選択する選択ステップと、を具備することを特徴とする。
【００２４】
本願の請求項１３の発明は、楽曲の音響信号を格納する音響信号格納ステップと、音響信号格納ステップの音響信号から、音響的な境界である音響変節点を抽出する音響変節点抽出ステップと、前記音響変節点抽出ステップによって抽出された音響変節点を含む楽曲の属性情報を記憶する楽曲属性記憶ステップと、前記音響信号格納ステップに格納された音響信号を、任意の位置から再生する音響再生ステップと、前記楽曲記憶ステップに記録された楽曲の属性情報を参照して、前記音響再生ステップの再生を制御する再生制御ステップと、を具備し、前記音響変節点抽出ステップは、楽曲の音響信号を入力する音響信号入力ステップと、前記音響信号入力ステップで与えられた音響信号から、予め定めた音響的特徴量を抽出する特徴量抽出ステップと、前記特徴量抽出ステップによって抽出された音響的特徴量から、音響変節点の尤度を示す評価関数を算出する評価関数算出ステップと、前記評価関数算出ステップで算出された評価関数が極大値を示すピーク時刻及びピーク値を検出するピーク検出ステップと、ピーク検出ステップによって検出されたピーク時刻及びピーク値から所定値以上の尤度値を持つ音響変節点を選択する選択ステップと、を有することを特徴とする。
【００２６】
本願の請求項１４の発明は、楽曲の音響信号を格納する音響信号格納ステップと、前記音響信号格納ステップの音響信号から音響的な境界である音響変節点を抽出する音響変節点抽出ステップと、前記音響変節点抽出ステップによって抽出された音響変節点に基づいて、楽曲の編集を行う信号区間を算出する区間算出ステップと、前記区間算出ステップによって算出された信号区間に基づいて、前記音響信号格納ステップに格納されている当該楽曲の音響信号を編集する音響信号編集ステップと、を具備することを特徴とする。
【００２７】
本願の請求項１５の音響変節点抽出方法プログラム記録媒体は、請求項１２記載の音響変節点抽出処理をコンピュータに機能させるためのプログラムとして記録したことを特徴とする。
【００２８】
本願の請求項１６の音響再生方法プログラム記録媒体は、請求項１３記載の音響再生処理をコンピュータに機能させるためのプログラムとして記録したことを特徴とする。
【００２９】
本願の請求項１７の音響信号編集方法プログラム記録媒体は、請求項１４記載の音響信号編集処理をコンピュータに機能させるためのプログラムとして記録したことを特徴とする。
【００３０】
本願の請求項１８の音響変節点抽出方法プログラムは、請求項１２記載の音響変節点抽出処理をコンピュータに機能させるためのプログラムであることを特徴とする。
【００３１】
本願の請求項１９の音響再生方法プログラムは、請求項１３記載の音響再生処理をコンピュータに機能させるためのプログラムであることを特徴とする。
【００３２】
本願の請求項２０の音響信号編集方法プログラムは、請求項１４記載の音響信号編集処理をコンピュータに機能させるためのプログラムであることを特徴とする。
【００３３】
【発明の実施の形態】
（実施の形態１）
先ず本発明の音響変節点抽出技術の実施の形態１として、音響変節点抽出装置について説明する。図１は本発明の実施の形態１における音響変節点抽出装置１０の全体構成を示すブロック図である。この音響変節点抽出装置１０は、入力された音響信号から、音響変節点を抽出して出力する装置であり、音響信号入力手段１１、特徴量抽出手段１２、評価関数算出手段１３、ピーク検出手段１４、選択手段１５を含んで構成される。
【００３４】
本実施の形態の説明に用いる音響変節点とは、楽曲の音響信号の変節点を示すもので、例えばイントロ部分からメインボーカルに入る部分、演奏楽器の種類が変化する部分、リズムが変化する部分、転調される部分、音圧が急に上昇する部分、メインメロディーからエンディングに入る部分などをいう。音響変節点の情報として、これらの音響変節点の種類をコード化した種別情報、音響変節点の発生時刻を示す時刻情報、音響変節点らしさを定量化した尤度情報等がある。これらの情報は人間の聴感覚（ビデオクリップのような映像が伴う場合は視聴感覚）と大脳で判断されるものであるが、本発明では物理的に判定できるものをその対象とする。時刻情報は、各曲の始まりからの経過時間を示し、通常ａｂ分、ｃｄ秒で表現される。譜面データが判明している場合は、小節番号などても特定できる。
【００３５】
音響信号入力手段１１は、オーディオＣＤ等に記録されているオーディオコンテンツ等、音響変節点を抽出する対象となる楽曲の音響信号を入力する。特徴量抽出手段１２は、音響信号入力手段１１で取得した音響信号を短時間のフレーム周期毎に分析し、１つ又は複数種類の音響変節点に関連のある予め定められた音響的特徴量を抽出して出力する。
【００３６】
評価関数算出手段１３は、特徴量抽出手段１２で抽出された特徴量から、音響変節点らしさの度合い、即ち音響変節点の尤度を表す評価関数を算出して出力する。ピーク検出手段１４は、評価関数算出手段１３で算出された評価関数がピーク（極大値）を示す１つ又は複数の部分を検出し、その時刻及びその値（ピーク値）を出力する。選択手段１５は、ピーク検出手段１４が出力したピーク部分の中から、音響変節点と考えられる１つ又は複数の部分の時刻情報とその属性情報を出力する。
【００３７】
ここで特徴量抽出手段１２の動作について詳細に説明する。特徴量抽出手段１２で抽出する音響的特徴量としては、（ａ）；信号の２乗平均平方根（ＲＭＳ）、（ｂ）；発音非周期性、（ｃ）；平均発音数などが用いられる。そこで夫々の特徴量について説明する。
【００３８】
（ａ）；２乗平均平方
２乗平均平方は、当該処理フレームにおける音響信号の振幅の大きさを表す特徴量である。ｉ番目の処理ブロックにおける信号の２乗平均平方ＲＭＳi は次の（１）式より導出される。
【数１】
【００３９】
（ｂ）；発音非周期性
発音非周期性（ビート非周期性ともいう）は、当該楽曲を構成する楽音の発音非周期性を表す特徴量である。楽曲の発音が規則的（周期的）になされている場合は発音非周期性が小さくなり、逆に楽曲発音パターンが変化する場合は発音非周期性が大きくなる。
【００４０】
図２は、発音非周期性を算出する発音非周期性算出部２０の構成図である。この発音非周期性算出部２０は、入力された音響信号から発音非周期性を算出して出力するものであり、立ち上がり成分検出器２１、自己相関算出器２２、周波数分析器２３、直流成分抽出器２４、最大値抽出器２５、除算器２６を含んで構成される。
【００４１】
立ち上がり成分検出器２１は、入力された音響信号から、楽曲中で発音されている楽音の立ち上がり成分を検出する。立ち上がり成分は、まず信号を短時間フレームに分けてフレーム毎に周波数分析し、前後フレーム及び隣接する周波数間の信号のパワー差から、急激にパワーが変化している信号部分を抽出することにより検出できる。立ち上がり成分の検出方法については、例えば文献（後藤・村岡：" 音楽音響信号に対するビートトラッキングシステム" ，情報処理学会研究報告，Vol.94, No.71, pp.49-56, 1994 ）に詳細が記載されている。
【００４２】
自己相関算出器２２は、立ち上がり成分検出器２１で検出した立ち上がり成分信号の自己相関関数を算出して出力する。周波数分析器２３は、自己相関算出器２２によって求められた立ち上がり成分の自己相関関数をフーリエ変換等により周波数分析を行い、周波数帯域毎のパワーを出力する。
【００４３】
直流成分抽出器２４は周波数分析器２３の出力信号から、直流成分のみを抽出してそのパワーを出力する。最大値抽出器２５は周波数分析器２３の出力信号のうち最も大きな値を示す帯域のパワーを出力する。除算器２６は直流成分抽出器２４の出力を最大値抽出器２５の出力で除算する、即ち周波数分析器２３で求まった信号のうち、直流成分のパワーを、最大値を示す帯域のパワーで除算して出力する。
【００４４】
立ち上がり成分の自己相関関数は、楽曲中で発音されている楽音の周期性を表し、楽音が周期的に発音されていれば、その周期において自己相関関数の当該周期部分の値が大きくなる。立ち上がり成分の自己相関関数を周波数分析すると、周期的に発音されていない楽音のパワーは直流成分に現れ、逆にその楽曲のリズムを形成するような主要楽音の周期成分が最大値として現れる。そこでそれらを除算することにより、分析対象となっている楽曲部分において、楽音が周期的に発音されているか否かを表す特徴量を抽出することができる。
【００４５】
例えば、ポピュラー音楽においては、一定のリズムパターンが繰り返し演奏される部分は一定の周期で楽音が発音されているため、発音非周期性が小さくなる。逆にリズムが急激に変化するいわゆるフィルイン部では楽音が周期的に発音される頻度が低下するため、発音非周期性が大きくなる。
【００４６】
（ｃ）；平均発音数
平均発音数は、当該楽曲を構成する楽音の単位時間あたりの発音頻度を表す特徴量である。図３は、平均発音数を算出する平均発音数算出部の構成図である。この平均発音数算出部３０は、入力された音響信号から平均発音数を算出して出力するもので、立ち上がり成分検出器３１、２値化器３２、積算器３３、平均値算出器３４を含んで構成される。
【００４７】
立ち上がり成分検出器３１は、入力された音響信号から、楽曲中で発音されている楽曲の立ち上がり成分を検出する。検出方法は図２の立ち上がり成分２１と同様であり、帯域毎に立ち上がり成分を出力する。２値化器３２は、入力信号の振幅の絶対値を調べ、振幅が閾値以下の場合、例えば０の場合は０を出力し、それ以外の値の場合（閾値を超える場合）は１を出力することにより、入力信号の２値化を行う。積算器３３は、入力された信号をフレーム時刻毎に周波数方向にその値を積算して出力する。平均値算出器３４は、入力された積算値の時間平均を算出して出力する。
【００４８】
このように立ち上がり成分を２値化処理することにより、フレーム時刻毎の各帯域での音の立ち上がりの有無を検出することができる。このため、その音の立ち上がりの有無をフレーム時刻毎に集計して平均処理をすることにより、分析対象区間における楽音の発音頻度の指標とすることができる。
【００４９】
図１において、評価関数算出手段１３で算出する評価関数は、音響変節点らしさの度合いを示すように設定される。例えば、特徴量抽出手段１２において、ｉ番目の処理ブロックにおける２乗平均平方をＲＭＳi とし、発音非周期性をＮＺi とし、平均発音数をＡＲi とすると、評価関数ＣＰi は次の（２）式によって定義できる。
【数２】
２乗平均平方ＲＭＳは楽音の大きさを、発音非周期性ＮＺは楽音の発音リズムの変化度合いを、平均発音数ＡＲは楽音の発音頻度、即ち「賑々しさ」を表現している。このため、それらを乗算した（２）式の評価関数は、当該処理ブロックが「音が大きく、リズムの変化が大きく、賑やかな」ほど音響変節点らしいという意味合いを持つことになる。例えばポピュラー音楽の場合は、楽曲がイントロ→Ａメロ→サビ→Ｂメロ→エンディングというように、幾つかの楽節から構成されることが一般的である。各楽節の間には楽節の変化を明確に表現するために、フィルインと呼ばれる前後とはリズムパターンの異なる短時間の演奏パターンが挿入されることが多い。また楽節間ではリズムパターンが大きく変化するなどのリズムの変化を伴うことが多い。またこの部分は楽曲の中の大きなアクセントとして演奏されることが多いので、楽曲を構成する演奏音（楽器音）の増加、音量の増加が見られることが多いことが音楽的経験則より導かれる。そこでこのような楽節間の変化を検出するために、（２）式が定義された。
【００５１】
尚、評価関数算出手段１３で算出する評価関数は、（２）式のように３つの変数を乗算した乗算値を用いたが、何れか２つの乗算値、又は何れか１つの変数のみでもよい。
【００５２】
図４は、ある楽曲における特徴量（２乗平均平方、発音非周期性、平均発音数）及び評価関数の算出例である。図４において、変節点１、２，３はそれぞれ楽曲のサビの部分の開始点の時刻を表している。図中のＣＰ１、ＣＰ２、ＣＰ３は、評価関数ＣＰが極大値を示している部分である。この図より、変節点において評価関数が極大値を示していることが分かる。
【００５３】
図１のピーク検出手段１４は、音響変節点の候補として、評価関数からそのピーク（極大値）示す部分を検出する。図４の評価関数ＣＰの場合では、ＣＰ１、ＣＰ２，ＣＰ３を含むピークを示す部分の時刻及びその大きさを出力する。そして選択手段１５は、ピーク検出手段１４で検出されたピークから、予め定めた手順に従って音響変節点と思われる部分を選択する。この場合の音響変節点の情報として、前述したように種別情報、時刻情報、尤度情報等のうち、後の処理に必要な情報が選択される。選択の手順としては、例えば、値の大きいピークから順に音響変節点として尤度の高いものを出力する方法がある。図４の例では、ＣＰ１、ＣＰ２、ＣＰ３の順に音響変節点としてその時刻情報を出力し、また夫々の属性情報としてそのピーク値を音響変節点尤度として付加する。
【００５４】
また、選択手段１５において、評価関数のピークを選択する際に閾値を定めておき、閾値以下の大きさのピークは音響変節点の候補から除外することにより、音響変節点の検出誤りを抑えることができる。また、音響変節点は、Ａメロとサビとの間など「一定の時間長をもつ楽節の境界を示す」という音楽的経験則から、時間的制約条件に基づいて設定される場合がある。
【００５５】
図５は評価関数から抽出したピークを模式的に示した説明図である。図５において、Ｐ１〜Ｐ５は評価関数からピーク検出手段１４により抽出された音響変節点の候補を示している。音響変節点の最小時間間隔ＣＰmin を予め定めておくと、ＣＰmin より時間間隔が短いピーク間隔は音楽的経験則から妥当でないと考えられ、即ち、ピークのどちらかが音響変節点として適切でないと考えられる。このため、ピークの大きさが小さい方が誤検出である可能性が高くなる。そこで、図５の例では、ピークＰ３とＰ５の間隔がＣＰmin より小さいので、ピークＰ５を音響変節点候補から除外する。このような処理により、音響変節点の検出誤りを抑えることができる。
【００５６】
（実施の形態２）
次に本発明の音響変節点抽出技術の実施の形態２として、音響再生装置について説明する。図６は本発明の実施の形態２における音響再生装置６０の構成図である。この音響再生装置６０は、音響信号格納手段６１、音響変節点抽出手段６２、楽曲属性記憶手段６３、音響再生手段６４、再生制御手段６５を含んで構成される。
【００５７】
音響再生装置６０は、以下の手順で音響信号格納手段６１に記録されている音響信号を再生する。先ず音響変節点抽出手段６２は、音響信号格納手段６１に格納されている音響信号から各楽曲の音響変節点を抽出し、抽出した音響変節点情報を楽曲属性記憶手段６３の当該レコードに格納する。次に、利用者から再生指示があった場合は、再生制御手段６５は楽曲属性記憶手段６３を参照しながら楽曲の再生開始位置を音響再生手段６４に指定する。そして楽曲再生手段６４は音響信号格納手段６１の当該楽曲を指定された部分から再生する。
【００５８】
ここで音響再生装置６０の各部の構成及び動作の詳細を更に説明する。音響信号格納手段６１は、再生可能な形態で音響信号を記録している装置であり、例えばＣＤ、ＤＶＤ、ＨＤＤ、不揮発メモリ等のメディア、及びそのメディアに記録されている音響信号への参照手段を含んでいる。
【００５９】
音響変節点抽出手段６２は、音響信号格納手段６１に記録されている音響信号を入力とし、記録されている楽曲の音響変節点を抽出する。この音響変節点抽出手段６２は実施の形態１で説明した音響変節点抽出装置と同一の構成を有し、各楽曲の音響変節点を示す時刻情報及びその属性情報を出力する点で、その動作も同一である。
【００６０】
楽曲属性記憶手段６３は、音響変節点抽出手段６２によって抽出された音響変節点に関する情報や、楽曲に伴って提供される演奏時間長などの楽曲属性情報などを記録する。図７に楽曲属性記憶手段に格納される楽曲１曲分の属性情報の例を示す。この楽曲属性情報は、例として音響信号格納手段６１がＣＤに記録されている音響信号を対象にしている。図７において、曲番号は当該楽曲を一意に同定可能な符号及び番号である。曲時間長は当該楽曲の演奏時間長である。音響変節点数は当該楽曲に含まれる音響変節点の数である。変節点時刻１及び２は、１及び２番目の音響変節点を示す時刻である。変節点尤度１及び２は、１及び２番目の音響変節点の尤度である。図７のような楽曲属性情報は、音響信号格納手段６１に記録されている楽曲毎に保持され、再生制御手段６５から随時参照可能なように格納されている。
【００６１】
再生制御手段６５は、利用者からの指示により音響格納手段６１に格納されている任意の楽曲に対して、利用者の選択した再生形態となるように音響再生手段６４を制御する。音響再生手段６４は、再生制御手段６５の制御に従って音響信号格納手段６１に格納されている任意の楽曲を再生し、利用者が聴取可能な音響信号として出力する。
【００６２】
楽曲の再生形態としては、楽曲の先頭からの再生、先頭から任意の時刻まで早送りしてからの再生、再生開始時刻を指定しての再生など、通常のＣＤで可能な再生形態に加えて、音響変節点からの再生が選択可能となる。
【００６３】
利用者の再生指示方法及びその場合の動作を、図６〜図８を使って説明する。図８は音響再生装置６０の再生操作部８０を表している。この再生操作部８０には、再生ボタン８１、停止ボタン８２、一時停止ボタン８３、早送りボタン８４、巻き戻しボタン８５、スキップボタン８６、頭だしボタン８７、変節点スキップボタン８８、変節点頭だしボタン８９、楽曲指定ボタン８１０が設けられている。ＣＤの最初から順に楽曲を再生する場合は、利用者が再生ボタン８１を押すと、図６の再生制御手段６５は楽曲属性記憶手段６３に記録されている当該ＣＤの属性情報にアクセスし、曲番号に対応した楽曲の順番に従って音響信号格納手段６１に格納されている楽曲の音響信号にアクセスする。音響再生手段６４はこのようなアクセス制御によって夫々の楽曲を再生する。
【００６４】
変節点スキップボタン８８が押されると、再生制御手段６５は楽曲属性記憶手段６３に記録され、再生対象となっている楽曲の属性情報を参照し、再生を開始する変節点時刻情報を取得する。そして再生制御手段６５は、その時刻を再生開始時刻として音響再生手段６４に指示することにより、変節点からの再生を開始する。再生中に再び変節点スキップボタン８８が押されると、同様の手順で再生制御手段６５は次の変節点時刻を取得し、その時刻から再生を開始するように音響再生手段６４を制御する。
【００６５】
利用者が音響変節点からの再生を選択すると、楽曲の音楽的な区切り、即ちサビの開始部分やＡメロの開始部分などから再生を開始することができ、当該楽曲の音楽的特徴を示す部分から即座に再生開始が可能となる。また、音響変節点からの再生を選択した場合は、変節点の選択方法として、変節点尤度の高い（図７においては番号が小さい）時刻から優先的に再生する方法や、変節点時刻の早い順に優先的に再生する方法などがある。いずれにしても利用者の選択やシステムの設定により再生時の変節点の選択方法を予め定めるものとする。
【００６６】
なお、以上の実施の形態２では、例として音響信号格納手段６１はＣＤに格納されている信号を参照するものとして説明したが、ＤＶＤ、ＨＤＤ、不揮発メモリ等他の媒体に記録されている信号でも同様に適用できる。
【００６７】
（実施の形態３）
次に本発明の音響変節点抽出技術の実施の形態３として、音響再生システムについて説明する。図９は実施の形態３における音響再生システム９００の構成を表すブロック図である。この音響再生システム９００は、情報提供装置９０１、通信網９１、音響再生装置９０２、情報提供装置９０３を含んで構成される。情報提供装置９０１又は９０３は、音響再生装置９０２に楽曲属性情報を提供することを主目的とした装置であり、第１の音響信号格納手段９２、音響変節点抽出手段９３、楽曲属性記憶手段９４を有している。音響再生装置９０２は、ＣＤ等に記録された音響信号を利用者による操作により再生するための装置であり、第２の音響信号格納手段９５、属性取得手段９６、音響再生手段９７、再生制御手段９８を有している。
【００６８】
音響再生装置９０２は、インターネット等に代表される通信網９１を経由して情報提供装置９０１又は情報提供装置９０３に接続される。音響再生装置９０２は、音響信号格納手段９５に格納された音響信号を再生する際、必要に応じて情報提供装置９０１から情報を取得することにより、音響変節点を利用した再生ができる。
【００６９】
次に音響再生システム９００の各部構成及び動作の詳細について更に説明する。情報提供装置９０１の音響信号格納手段９２は、再生可能な形態で音響信号を記録するものであり、例えばＣＤ、ＤＶＤ、ＨＤＤ、不揮発メモリ等のメディア、及びそのメディアに記録されている音響信号への参照手段を含んでいる。
【００７０】
音響変節点抽出手段９３は、音響信号格納手段９２に記録されている音響信号を入力とし、記録されている楽曲の音響変節点を抽出する。音響変節点抽出手段９３は実施の形態１で説明した音響変節点抽出装置とその構成と動作が同一であり、各楽曲の音響変節点を示す時刻情報及びその属性情報を出力する。
【００７１】
楽曲属性記憶手段９４は、音響変節点抽出手段９３によって抽出された音響変節点に関する情報や、楽曲に伴って提供される演奏時間長などの楽曲属性情報を記録する。楽曲属性情報は実施の形態２で説明した内容と同様である。
【００７２】
音響再生装置９０２において、音響信号格納手段９５は再生可能な形態で音響信号を記録しているメモリであり、例えばＣＤ、ＤＶＤ、ＨＤＤ、不揮発メモリ等のメディア、及びそのメディアに記録されている音響信号への参照手段を含んでいる。音響信号格納手段９５に格納されている楽曲には、図７に記載されているように、各楽曲を一意に表すことが可能な曲番号が予め付与されており、属性取得手段９６から参照が可能となっている。
【００７３】
属性取得手段９６は、音響信号格納手段９５に格納されている楽曲の一部又は全部の楽曲属性情報を、情報提供装置９０１の楽曲属性記憶手段９４を参照して取得する。楽曲属性記憶手段９４から、音響信号格納手段９５に記録された楽曲の属性情報を取得する際に、前述の各楽曲に付与された曲番号をキーとして参照することにより、その曲番号に該当する楽曲属性情報を取得することができる。
【００７４】
再生制御手段９８は、利用者からの指示により音響格納手段９５に格納されている任意の楽曲に対して、利用者の選択した再生形態となるように音響再生手段９７を制御する。音響再生手段９７は、再生制御手段９８の制御に従って音響信号格納手段９５に格納されている任意の楽曲を再生し、利用者が聴取可能な音響信号として出力する。再生形態は実施の形態２で説明した音響再生装置６０と同様であり、再生制御に際して楽曲属性情報が必要な場合には、属性取得手段９６により取得した各楽曲の楽曲属性情報を利用する。
【００７５】
また、音響再生装置９０２は、情報提供装置９０１以外の情報提供装置９０３を参照することができる。情報提供装置９０３は、情報提供装置９０１と同様に、楽曲の属性情報を提供する装置である。
【００７６】
属性取得手段９６は、先ず音響信号格納手段９５に格納された楽曲の属性情報を取得するために情報提供装置９０１を参照するが、もし当該楽曲の属性情報が情報提供装置９０１から取得できなかった場合は、他の情報提供装置９０３を参照して当該楽曲の属性情報の取得を試みる。このように属性情報を複数の情報提供装置から取得可能なように構成することにより、属性情報取得の確度を向上することができる。
【００７７】
尚、複数の情報提供装置への参照先の指定方法は、予め属性取得手段９６において優先度を設定しておき、その優先度の順番で参照する方法や、利用者が随意に参照先を選択できるようにする方法などがある。
【００７８】
尚、情報提供装置９０１は、音響変節点抽出手段９３で音響信号から音響変節点を抽出しているが、他の情報提供装置９０３は必ずしも音響変節点抽出手段を具備する必要はなく、音響変節点抽出手段の部分を他の手段、例えば手作業による変節点の抽出で代行してもよい。
【００７９】
（実施の形態４）
次に本発明の音響変節点抽出技術の実施の形態４として、音響配信システムについて説明する。図１０は本発明の実施の形態４における音響配信システム１０００の構成図である。この音響配信システム１０００は、実施の形態３で説明した音響再生システム９００に対して、楽曲取得手段９９を付加した構成となっている。このため、ここでは実施の形態３との相違点についてのみ説明する。
【００８０】
図１０の情報提供装置９０１は、楽曲属性情報に加えて、第１の音響格納手段９２に格納された楽曲の音響信号データを音響再生装置９０２に対して提供することができる。そして音響再生装置９０２は、第２の音響信号格納手段９５に格納された音響信号に加えて、情報提供装置９０３から提供された楽曲の音響信号を楽曲取得手段９９を介して再生することができる。音響信号格納手段９５に記録された音響信号の再生方法は実施の形態３と同様である。以下、情報提供装置９０３より提供された楽曲の音響信号を再生する方法について説明する。
【００８１】
情報提供装置９０３は、音響信号格納手段９２に格納されている楽曲の一部又は全部のリストを予め音響再生装置９０２に提供しておく。利用者により前記のリストに記載の楽曲が再生楽曲として選択されると、属性取得手段９６は当該楽曲の属性情報を楽曲属性記憶手段９４より通信網９１を介して取得すると共に、楽曲取得手段９９は当該楽曲の音響信号を音響信号格納手段９２より取得し格納する。利用者から再生指示が与えられると、再生制御手段９８は指示された再生方法に則り、楽曲を再生するように音響再生手段９７を制御する。この際、音響再生手段９７は楽曲取得手段９９に格納された当該楽曲の音響信号データを再生する。
【００８２】
（実施の形態５）
次に本発明の音響変節点抽出技術の実施の形態５として、音響信号編集装置について説明する。図１１は本発明の実施の形態５における音響信号編集装置１１００の構成図である。この音響信号編集装置１１００は、音響信号格納手段１１０１、音響変節点抽出手段１１０２、区間区間算出手段１１０３、音響信号編集手段１１０４を含んで構成される。
【００８３】
この音響信号編集装置１１００は、特定の目的、例えばＥＭＤ（電子音楽配信）システムのための試聴用の音響信号を作成する場合のように、楽曲の音響信号から適切な時間長の音響信号部分を切り出すための編集装置である。以下、各部の構成及び動作の詳細を説明する。
【００８４】
音響信号格納手段１１０１は、再生可能な形態で音響信号を記録するものであり、例えばＣＤ、ＤＶＤ、ＨＤＤ、不揮発メモリ等のメディア、及びそのメディアに記録されている音響信号への参照手段を含んでいる。
【００８５】
音響変節点抽出手段１１０２は、音響信号格納手段１１０１に記録されている音響信号を入力とし、記録されている楽曲の音響変節点を抽出する。音響変節点抽出手段１１０２は実施の形態１で説明した音響変節点抽出装置と構成及び動作が同一であり、各楽曲の音響変節点を示す時刻情報及びその属性情報を出力する。
【００８６】
区間算出手段１１０３は、音響変節点抽出手段１１０２により抽出された音響変節点に関する情報に基づき、音響信号の切り出しに適した信号区間の開始点及び終了点時刻を算出して出力する。
【００８７】
切り出し区間の開始点及び終了点時刻の設定方法は、例えば次のような方法がある。音響変節点抽出手段１１０２により抽出された音響変節点を時刻順に整列し、各変節点の間の区間を切り出し区間とする。即ちこの場合の開始点は各変節点、終了点は開始点の次の変節点となる。音響変節点抽出手段１１０２により抽出された各音響変節点を切り出し区間の開始点とし、開始点から一定の時刻後（例えば３０秒など）を終了点とすることもできる。
【００８８】
音響信号編集手段１１０４は、音響信号格納手段１１０１に格納されている当該楽曲の音響信号に対して、区間算出手段１１０３により算出された区間情報に基づき、マーキングしたり又は音響信号の切り出しを行う。
【００８９】
マーキングは音響信号上に切り出し区間を明示的に示す印を付与するものであり、当該編集装置の利用者（音響信号の編集者）に対して対話的な信号編集方法を提供するものである。ここでの音響信号の切り出しは、当該時間区間の音響信号部分のみを抽出するものとする。
【００９０】
音響変節点抽出手段１１０２は、実施の形態１で説明したように、楽曲の音響的な変化点、即ち楽曲の楽節境界と思われる時刻を抽出するため、その変節点を開始点として信号を切り出す。このような構成により、音響信号の編集者は楽曲の音楽的な特徴に則った信号の切り出し、例えばサビの部分の切り出しなどを容易に行うことができる。
【００９１】
尚、区間算出手段１１０３により複数の区間が算出された場合、そのどの部分を切り出すかの選択は、例えば次のような方法がある。即ち音響信号編集手段１１０４で全ての切り出し区間をマーキングして編集者に提示し、編集者の随意により切り出し区間を選択する方法と、音響変節点を抽出する際に求めた属性情報のうち、音響変節点尤度を参照し、音響変節点尤度の尤も高い変節点が開始点である区間を切り出し区間として選択する方法とがある。
【００９２】
尚、実施の形態１で説明した音響変節点抽出処理を、コンピュータに機能させるためのプログラムとして記録媒体に記憶させることができる。この場合のプログラムを音響変節点抽出方法プログラムと呼び、このプログラムを記録した記録媒体を音響変節点抽出方法プログラム記録媒体と呼ぶ。
【００９３】
また実施の形態２で説明した音響再生処理を、コンピュータに機能させるためのプログラムとして記録媒体に記憶させることができる。この場合のプログラムを音響再生方法プログラムと呼び、このプログラムを記録した記録媒体を音響再生方法プログラム記録媒体と呼ぶ。
【００９４】
また実施の形態５で説明した音響信号編集処理を、コンピュータに機能させるためのプログラムとして記録媒体に記憶させることができる。この場合のプログラムを音響信号編集方法プログラムと呼び、このプログラムを記録した記録媒体を音響信号編集方法プログラム記録媒体と呼ぶ。
【００９５】
【発明の効果】
以上のように、本発明の音響変節点抽出装置によれば、楽曲の音響信号からその音響的特徴量を抽出し、その特徴量の変化に着目することにより、楽曲の音響的な境界を表す音響変節点を自動的に抽出できる。このため、音響変節点を抽出するために事前に楽曲を聴取する必要がなく、利用者に負担をかけることなく音響変節点を抽出することができる。
【００９６】
本発明の音響再生装置によれば、楽曲の音響信号からその音響変節点を自動的に抽出し、楽曲の再生時にその音響変節点情報を参照して再生を制御することができる。このため、いわゆる楽曲の音楽的な特徴を表す楽節の境界部分などから、即座に音響信号を再生することが可能になり、利用者に対して操作上の負担をかけることなく楽曲の特徴的な部分を再生提示することができる。
【００９７】
本発明の音響編集装置によれば、楽曲の音響信号から音響変節点を算出し、その音響変節点に基づいて楽曲の特徴的な部分を編集するための区間情報を自動的に算出することができる。このため、編集者は音響変節点を抽出するために事前に楽曲を聴取する必要がなく、したがって編集者に負担をかけることなく楽曲の特徴的な部分の切り出し等の編集作業を行うことができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１における音響変節点抽出装置の構成図である。
【図２】 実施の形態１の音響変節点抽出装置に用いられる発音非周期性算出部の構成図である。
【図３】 実施の形態１の音響変節点抽出装置に用いられる平均発音数算出部の構成図である。
【図４】 実施の形態１による音響変節点抽出装置の特徴量抽出手段において、評価関数及び特徴量の測定例を示す特性図である。
【図５】 評価関数から抽出したピークを模式的に表す説明図である。
【図６】 本発明の実施の形態２における音響再生装置の構成図である。
【図７】 実施の形態２における音響再生装置において、楽曲１曲分の属性情報の例を表す説明図である。
【図８】 実施の形態２における音響再生装置において、再生操作部の概念図である。
【図９】 本発明の実施の形態３における音響再生システムの構成図である。
【図１０】 本発明の実施の形態４における音響再生システムの構成図である。
【図１１】 本発明の実施の形態５における音響信号編集装置の構成図である。
【符号の説明】
１０ 音響変節点抽出装置
１１ 音響信号入力手段
１２ 特徴量抽出手段
１３ 評価関数算出手段
１４ ピーク検出手段
１５ 選択手段
２０ 発音非周期性算出部
２１，３１ 立ち上がり成分検出器
２２ 自己相関算出器
２３ 周波数分析器
２４ 直流成分抽出器
２５ 最大値抽出器
２６ 除算器
３０ 平均発音数算出部
３２ ２値化器
３３ 積算器
３４ 平均値算出器
６０ 音響再生装置
６１，９２，９５，１１０１ 音響信号格納手段
６２，９３，１１０２ 音響変節点抽出手段
６３，９４ 楽曲属性記憶手段
６４，９７ 音響再生手段
６５，９８ 再生制御手段
８０ 再生操作部
８１ 再生ボタン
８２ 停止ボタン
８３ 一時停止ボタン
８４ 早送りボタン
８５ 巻き戻しボタン
８６ スキップボタン
８７ 頭だしボタン
８８ 変節点スキップボタン
８９ 変節点頭だしボタン
８１０ 楽曲指定ボタン
９００，１０００ 音響再生システム
９０１，９０３ 情報提供装置
９１ 通信網
９６ 属性取得手段
９９ 楽曲取得手段
１１００ 音響信号編集装置
１１０３ 区間算出手段
１１０４ 音響信号編集手段
Claims (20)
- 楽曲の音響信号を入力する音響信号入力手段と、
前記音響信号入力手段より与えられた音響信号から、予め定めた音響的特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段によって抽出された音響的特徴量から、音響変節点の尤度を示す評価関数を算出する評価関数算出手段と、
前記評価関数算出手段によって算出された評価関数の値が極大値を示すピーク時刻及びピーク値を検出するピーク検出手段と、
前記ピーク検出手段によって検出されたピーク時刻及びピーク値から、所定値以上の尤度値を持つ音響変節点を選択する選択手段と、を具備する音響変節点抽出装置。 - 前記特徴量抽出手段は、
音響信号の２乗平均平方を算出する２乗平均平方算出部、
音響信号の発音非周期性を算出する発音非周期性算出部、
音響信号の平均発音数を算出する平均発音数算出部、の何れかを具備する請求項１記載の音響変節点抽出装置。 - 前記評価関数算出手段は、
音響信号の２乗平均平方、発音非周期性、平均発音数の内、少なくとも２つの値を乗算した値を評価関数として出力する請求項１記載の音響変節点抽出装置。 - 前記発音非周期性算出部は、
音響信号の立ち上がり成分を検出する立ち上がり成分検出器と、
前記立ち上がり成分検出部で得られた立ち上がり成分の自己相関関数を算出する自己相関算出器と、
前記自己相関算出器で算出された自己相関関数の周波数分析を行う周波数分析器と、
前記周波数分析器の出力から直流成分を抽出する直流成分抽出器と、
前記周波数分析器の出力から最大値をもつ周波数成分を抽出する最大値抽出器と、
前記直流成分抽出器の出力を前記最大値抽出器の出力で除算する除算器と、を具備する請求項２記載の音響変節点抽出装置。 - 前記平均発音数算出部は、
音響信号の各周波数帯域における立ち上がり成分を検出する立ち上がり成分検出器と、
前記立ち上がり成分検出器で検出された立ち上がり成分の出力が閾値以下の場合は０を出力し、前記閾値を超える場合は１を出力する２値化器と、
前記２値化器の出力を周波数方向に積算する積算器と、
前記積算器の出力の時間平均を算出する平均値算出器と、を具備する請求項３記載の音響変節点抽出装置。 - 前記選択手段は、
音響変節点の時間間隔が予め定めた時間間隔以上となるように、前記ピーク検出手段により検出されたピーク値から音響変節点を選択する請求項１記載の音響変節点抽出装置。 - 楽曲の音響信号を格納する音響信号格納手段と、
前記音響信号格納手段に格納された音響信号から、音響的な境界を示す音響変節点を抽出する音響変節点抽出手段と、
前記音響変節点抽出手段によって抽出された音響変節点を含む楽曲の属性情報を記憶する楽曲属性記憶手段と、
前記音響信号格納手段に格納された音響信号を、任意の位置から再生する音響再生手段と、
前記楽曲属性記憶手段に記録された楽曲の属性情報を参照して、前記音響再生手段の再生を制御する再生制御手段と、を具備し、
前記音響変節点抽出手段は、
楽曲の音響信号を入力する音響信号入力部と、
前記音響信号入力部より与えられた音響信号から、予め定めた音響的特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部によって抽出された音響的特徴量から、音響変節点の尤度を示す評価関数を算出する評価関数算出部と、
前記評価関数算出部によって算出された評価関数の値が極大値を示すピーク時刻及びピーク値を検出するピーク検出部と、
前記ピーク検出部によって検出されたピーク時刻及びピーク値から、所定値以上の尤度値を持つ音響変節点を選択する選択部と、を有する音響再生装置。 - 前記再生制御手段は、
利用者が音響変節点からの再生を指示するための操作部を有し、
前記操作部の指示により任意の音響変節点からの再生を行う請求項７記載の音響再生装置。 - 前記音響変節点抽出手段は、各音響変節点の時刻情報と尤度情報とを出力し、
前記再生制御手段は、前記尤度情報に基づいて音響変節点からの再生を制御する請求項７記載の音響再生装置。 - 楽曲の音響信号を格納する音響信号格納手段と、
前記音響信号格納手段の音響信号から音響的な境界である音響変節点を抽出する音響変節点抽出手段と、
前記音響変節点抽出手段によって抽出された音響変節点に基づいて、楽曲の編集を行うための信号区間を算出する区間算出手段と、
前記区間算出手段によって算出された信号区間に基づいて、前記音響信号格納手段に格納されている当該楽曲の音響信号を編集する音響信号編集手段と、を具備し、
前記音響変節点抽出手段は、
楽曲の音響信号を入力する音響信号入力部と、
前記音響信号入力部より与えられた音響信号から、予め定めた音響的特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部によって抽出された音響的特徴量から、音響変節点の尤度を示す評価関数を算出する評価関数算出部と、
前記評価関数算出部によって算出された評価関数の値が極大値を示すピーク時刻及びピーク値を検出するピーク検出部と、
前記ピーク検出部によって検出されたピーク時刻及びピーク値から、所定値以上の尤度値を持つ音響変節点を選択する選択部と、を有する音響信号編集装置。 - 前記音響変節点抽出手段は、音響変節点の時刻情報を出力すると共に、前記音響変節点の尤度情報を算出して出力し、
前記区間算出手段は、算出された音響変節点の尤度情報に基づいて信号区間を算出する請求項１０記載の音響信号編集装置。 - 楽曲の音響信号を入力する音響信号入力ステップと、
前記音響信号入力ステップで与えられた音響信号から、予め定めた音響的特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップによって抽出された音響的特徴量から、音響変節点の尤度を示す評価関数を算出する評価関数算出ステップと、
前記評価関数算出ステップで算出された評価関数が極大値を示すピーク時刻及びピーク値を検出するピーク検出ステップと、
ピーク検出ステップによって検出されたピーク時刻及びピーク値から、所定値以上の尤度値を持つ音響変節点を選択する選択ステップと、を具備する音響変節点抽出方法。 - 楽曲の音響信号を格納する音響信号格納ステップと、
音響信号格納ステップの音響信号から、音響的な境界である音響変節点を抽出する音響変節点抽出ステップと、
前記音響変節点抽出ステップによって抽出された音響変節点を含む楽曲の属性情報を記憶する楽曲属性記憶ステップと、
前記音響信号格納ステップに格納された音響信号を、任意の位置から再生する音響再生ステップと、
前記楽曲記憶ステップに記録された楽曲の属性情報を参照して、前記音響再生ステップの再生を制御する再生制御ステップと、を具備し、
前記音響変節点抽出ステップは、
楽曲の音響信号を入力する音響信号入力ステップと、
前記音響信号入力ステップで与えられた音響信号から、予め定めた音響的特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップによって抽出された音響的特徴量から、音響変節点の尤度を示す評価関数を算出する評価関数算出ステップと、
前記評価関数算出ステップで算出された評価関数が極大値を示すピーク時刻及びピーク値を検出するピーク検出ステップと、
ピーク検出ステップによって検出されたピーク時刻及びピーク値から、所定値以上の尤度値を持つ音響変節点を選択する選択ステップと、を有する音響再生方法。 - 楽曲の音響信号を格納する音響信号格納ステップと、
前記音響信号格納ステップの音響信号から音響的な境界である音響変節点を抽出する音響変節点抽出ステップと、
前記音響変節点抽出ステップによって抽出された音響変節点に基づいて、楽曲の編集を行う信号区間を算出する区間算出ステップと、
前記区間算出ステップによって算出された信号区間に基づいて、前記音響信号格納ステップに格納されている当該楽曲の音響信号を編集する音響信号編集ステップと、を具備する音響信号編集方法。 - 請求項１２記載の音響変節点抽出処理をコンピュータに機能させるためのプログラムとして記録した音響変節点抽出方法プログラム記録媒体。
- 請求項１３記載の音響再生処理をコンピュータに機能させるためのプログラムとして記録した音響再生方法プログラム記録媒体。
- 請求項１４記載の音響信号編集処理をコンピュータに機能させるためのプログラムとして記録した音響信号編集方法プログラム記録媒体。
- 請求項１２記載の音響変節点抽出処理をコンピュータに機能させるための音響変節点抽出方法プログラム。
- 請求項１３記載の音響再生処理をコンピュータに機能させるための音響再生方法プログラム。
- 請求項１４記載の音響信号編集処理をコンピュータに機能させるための音響信号編集方法プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001380139A JP3886372B2 (ja) | 2001-12-13 | 2001-12-13 | 音響変節点抽出装置及びその方法、音響再生装置及びその方法、音響信号編集装置、音響変節点抽出方法プログラム記録媒体、音響再生方法プログラム記録媒体、音響信号編集方法プログラム記録媒体、音響変節点抽出方法プログラム、音響再生方法プログラム、音響信号編集方法プログラム |
| EP02027499A EP1320101A3 (en) | 2001-12-13 | 2002-12-10 | Sound critical points retrieving apparatus and method, sound reproducing apparatus and sound signal editing apparatus using sound critical points retrieving method |
| US10/316,185 US6965546B2 (en) | 2001-12-13 | 2002-12-11 | Sound critical points retrieving apparatus and method, sound reproducing apparatus and sound signal editing apparatus using sound critical points retrieving method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001380139A JP3886372B2 (ja) | 2001-12-13 | 2001-12-13 | 音響変節点抽出装置及びその方法、音響再生装置及びその方法、音響信号編集装置、音響変節点抽出方法プログラム記録媒体、音響再生方法プログラム記録媒体、音響信号編集方法プログラム記録媒体、音響変節点抽出方法プログラム、音響再生方法プログラム、音響信号編集方法プログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006287391A Division JP4336362B2 (ja) | 2006-10-23 | 2006-10-23 | 音響再生装置及びその方法、音響再生プログラム及びその記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003177784A JP2003177784A (ja) | 2003-06-27 |
| JP2003177784A5 JP2003177784A5 (ja) | 2005-07-07 |
| JP3886372B2 true JP3886372B2 (ja) | 2007-02-28 |
Family
ID=19187093
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001380139A Expired - Lifetime JP3886372B2 (ja) | 2001-12-13 | 2001-12-13 | 音響変節点抽出装置及びその方法、音響再生装置及びその方法、音響信号編集装置、音響変節点抽出方法プログラム記録媒体、音響再生方法プログラム記録媒体、音響信号編集方法プログラム記録媒体、音響変節点抽出方法プログラム、音響再生方法プログラム、音響信号編集方法プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6965546B2 (ja) |
| EP (1) | EP1320101A3 (ja) |
| JP (1) | JP3886372B2 (ja) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2003275618A1 (en) * | 2002-10-24 | 2004-05-13 | Japan Science And Technology Agency | Musical composition reproduction method and device, and method for detecting a representative motif section in musical composition data |
| JP4243862B2 (ja) | 2004-10-26 | 2009-03-25 | ソニー株式会社 | コンテンツ利用装置およびコンテンツ利用方法 |
| JP2006127574A (ja) | 2004-10-26 | 2006-05-18 | Sony Corp | コンテンツ利用装置、コンテンツ利用方法、配信サーバー装置、情報配信方法および記録媒体 |
| JP2006171133A (ja) | 2004-12-14 | 2006-06-29 | Sony Corp | 楽曲データ再構成装置、楽曲データ再構成方法、音楽コンテンツ再生装置および音楽コンテンツ再生方法 |
| JP4595555B2 (ja) | 2005-01-20 | 2010-12-08 | ソニー株式会社 | コンテンツ再生装置およびコンテンツ再生方法 |
| JP4759281B2 (ja) * | 2005-02-09 | 2011-08-31 | パイオニア株式会社 | 情報処理装置、情報処理方法、情報処理プログラム、および、情報処理プログラムを記録した記録媒体 |
| JP4741267B2 (ja) | 2005-03-28 | 2011-08-03 | ソニー株式会社 | コンテンツ推薦システム、通信端末およびコンテンツ推薦方法 |
| KR100869643B1 (ko) | 2005-04-29 | 2008-11-21 | 에스케이 텔레콤주식회사 | 음악구조를 이용한 엠피쓰리 형식의 가요 음향에 대한 요약장치, 방법 및 이를 구현하기 위한 프로그램이 저장된기록매체 |
| JP2007011928A (ja) | 2005-07-04 | 2007-01-18 | Sony Corp | コンテンツ提供システム、コンテンツ提供装置、コンテンツ配信サーバ、コンテンツ受信端末およびコンテンツ提供方法 |
| JP5133508B2 (ja) | 2005-07-21 | 2013-01-30 | ソニー株式会社 | コンテンツ提供システム、コンテンツ提供装置、コンテンツ配信サーバ、コンテンツ受信端末およびコンテンツ提供方法 |
| WO2007029489A1 (ja) * | 2005-09-07 | 2007-03-15 | Pioneer Corporation | コンテンツリプレイ装置、コンテンツ再生装置、コンテンツリプレイ方法、コンテンツ再生方法、プログラム、および記録媒体 |
| WO2007036844A2 (en) * | 2005-09-30 | 2007-04-05 | Koninklijke Philips Electronics N.V. | Method and apparatus for automatic structure analysis of audio |
| US7668610B1 (en) * | 2005-11-30 | 2010-02-23 | Google Inc. | Deconstructing electronic media stream into human recognizable portions |
| US7826911B1 (en) * | 2005-11-30 | 2010-11-02 | Google Inc. | Automatic selection of representative media clips |
| JP4811046B2 (ja) | 2006-02-17 | 2011-11-09 | ソニー株式会社 | コンテンツの再生装置、オーディオ再生機およびコンテンツの再生方法 |
| JP4961300B2 (ja) * | 2006-08-14 | 2012-06-27 | 三洋電機株式会社 | 楽曲一致判定装置、楽曲記録装置、楽曲一致判定方法、楽曲記録方法、楽曲一致判定プログラム、及び楽曲記録プログラム |
| JP4982860B2 (ja) * | 2007-07-31 | 2012-07-25 | 学校法人 中央大学 | 音響処理のための情報処理装置、音響処理方法、プログラム、および音響検索システム |
| JP5359786B2 (ja) * | 2009-10-29 | 2013-12-04 | 株式会社Ｊｖｃケンウッド | 音響信号分析装置、音響信号分析方法、及び音響信号分析プログラム |
| US8621355B2 (en) * | 2011-02-02 | 2013-12-31 | Apple Inc. | Automatic synchronization of media clips |
| CN105788603B (zh) * | 2016-02-25 | 2019-04-16 | 深圳创维数字技术有限公司 | 一种基于经验模态分解的音频识别方法及系统 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6124085A (ja) * | 1984-07-12 | 1986-02-01 | Fujitsu Ten Ltd | デイジタル・オ−デイオ・デイスク再生装置 |
| US5634020A (en) * | 1992-12-31 | 1997-05-27 | Avid Technology, Inc. | Apparatus and method for displaying audio data as a discrete waveform |
| JPH06259940A (ja) * | 1993-03-09 | 1994-09-16 | Sony Corp | ディスク記録再生装置 |
| DE19608957A1 (de) * | 1996-03-08 | 1997-09-11 | Ralf Pretz | CD-Abspielgerät |
| JP3017715B2 (ja) * | 1997-10-31 | 2000-03-13 | 松下電器産業株式会社 | 音声再生装置 |
| US6163510A (en) * | 1998-06-30 | 2000-12-19 | International Business Machines Corporation | Multimedia search and indexing system and method of operation using audio cues with signal thresholds |
| US6185527B1 (en) * | 1999-01-19 | 2001-02-06 | International Business Machines Corporation | System and method for automatic audio content analysis for word spotting, indexing, classification and retrieval |
| JP3687467B2 (ja) * | 2000-02-25 | 2005-08-24 | ティアック株式会社 | 記録媒体再生装置 |
| JP2001283569A (ja) | 2000-03-30 | 2001-10-12 | Seiko Epson Corp | さびサーチ装置 |
| KR100708076B1 (ko) * | 2000-04-27 | 2007-04-16 | 삼성전자주식회사 | 오디오 하이라이트 파트 기록/재생 방법과 장치 및 이를위한 부가 정보가 저장되는 기록 매체 |
| JP2002341888A (ja) * | 2001-05-18 | 2002-11-29 | Pioneer Electronic Corp | ビート密度検出装置と情報再生装置 |
| US7161887B2 (en) * | 2001-11-13 | 2007-01-09 | Digeo, Inc. | Method and apparatus for extracting digital data from a medium |
-
2001
- 2001-12-13 JP JP2001380139A patent/JP3886372B2/ja not_active Expired - Lifetime
-
2002
- 2002-12-10 EP EP02027499A patent/EP1320101A3/en not_active Ceased
- 2002-12-11 US US10/316,185 patent/US6965546B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6965546B2 (en) | 2005-11-15 |
| US20030123339A1 (en) | 2003-07-03 |
| EP1320101A2 (en) | 2003-06-18 |
| JP2003177784A (ja) | 2003-06-27 |
| EP1320101A3 (en) | 2005-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3886372B2 (ja) | 音響変節点抽出装置及びその方法、音響再生装置及びその方法、音響信号編集装置、音響変節点抽出方法プログラム記録媒体、音響再生方法プログラム記録媒体、音響信号編集方法プログラム記録媒体、音響変節点抽出方法プログラム、音響再生方法プログラム、音響信号編集方法プログラム | |
| US7386357B2 (en) | System and method for generating an audio thumbnail of an audio track | |
| KR101363534B1 (ko) | 비트 추출 장치 및 비트 추출 방법 | |
| US8680388B2 (en) | Automatic recognition and matching of tempo and phase of pieces of music, and an interactive music player | |
| JP4487958B2 (ja) | メタデータ付与方法及び装置 | |
| CA2271535C (en) | Multimedia search and indexing system and method of operation using audio cues with signal thresholds | |
| JP4616337B2 (ja) | 再生順変更支援ユニット、楽曲情報再生装置及び再生順変更支援方法 | |
| US7041892B2 (en) | Automatic generation of musical scratching effects | |
| JP2007292847A (ja) | 楽曲編集・再生装置 | |
| US8612031B2 (en) | Audio player and audio fast-forward playback method capable of high-speed fast-forward playback and allowing recognition of music pieces | |
| US8069177B2 (en) | Information selecting method, information selecting device and so on | |
| JP2004159192A (ja) | 映像要約方法及びプログラム及び映像要約プログラムを格納した記憶媒体 | |
| JP2005107329A (ja) | カラオケ装置 | |
| JPWO2006087891A1 (ja) | 情報選択方法及び情報選択装置等 | |
| JP4336362B2 (ja) | 音響再生装置及びその方法、音響再生プログラム及びその記録媒体 | |
| JP2003302988A (ja) | オーディオ機器 | |
| JP4537490B2 (ja) | オーディオ再生装置およびオーディオ早送り再生方法 | |
| JP2001283569A (ja) | さびサーチ装置 | |
| JP4048249B2 (ja) | カラオケ装置 | |
| JP5338312B2 (ja) | 自動演奏同期装置、自動演奏鍵盤楽器およびプログラム | |
| JP4048917B2 (ja) | 音声データと演奏データの同期再生を行うための装置および方法 | |
| Kosonen et al. | Rhythm metadata enabled intra-track navigation and content modification in a music player | |
| JP2005276322A (ja) | 楽曲データ格納装置および楽曲再生順序設定方法 | |
| JP2009042431A (ja) | 音声データの記録再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041028 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041028 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060822 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061023 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061121 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061121 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3886372 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091201 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101201 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111201 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121201 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121201 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131201 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |