JP3987427B2 - 楽曲要約処理方法、楽曲要約処理装置、楽曲要約処理プログラム及びそのプログラムを記録した記録媒体 - Google Patents
楽曲要約処理方法、楽曲要約処理装置、楽曲要約処理プログラム及びそのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3987427B2 JP3987427B2 JP2002371244A JP2002371244A JP3987427B2 JP 3987427 B2 JP3987427 B2 JP 3987427B2 JP 2002371244 A JP2002371244 A JP 2002371244A JP 2002371244 A JP2002371244 A JP 2002371244A JP 3987427 B2 JP3987427 B2 JP 3987427B2
- Authority
- JP
- Japan
- Prior art keywords
- music
- summary processing
- similarity
- subject
- song
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Auxiliary Devices For Music (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Electrophonic Musical Instruments (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、処理対象となる課題曲を要約する楽曲要約処理方法及びその装置と、その楽曲要約処理装置の実現に用いられる楽曲要約処理プログラム及びそのプログラムを記録した記録媒体とに関し、特に、楽曲全体の雰囲気を反映したような形態で楽曲全体を縮めることができるようにする楽曲要約処理方法及びその装置と、その楽曲要約処理装置の実現に用いられる楽曲要約処理プログラム及びそのプログラムを記録した記録媒体とに関する。
【０００２】
【従来の技術】
楽曲全体の雰囲気を反映したような形態で楽曲全体を縮めることができるようにする技術が構築されると、様々な有効利用が期待できる。
【０００３】
例えば、従来のオンラインＣＤショップ（ＯＣＳ）では、予めメール会員から各個人の嗜好や希望をアンケートで収集しておき、そのデータに基づいてＯＣＳ側で推薦曲や推薦ＣＤを選別して、各個人に宣伝を行っている。これは、毎週毎週、膨大な量の新曲や推薦曲の全曲を各個人に送るわけにはいかないからである。
【０００４】
このような従来のＯＣＳでは、２つの機会損失が発生している。それは、楽曲の一部抜粋だけではその楽曲の全体の雰囲気を伝え損ねているという損失と、会員が気に入るかも知れない新曲をＯＣＳ側で捨ててしまっているという損失である。
【０００５】
このような場合に、楽曲全体の雰囲気を反映したような形態で楽曲全体を縮めることができるようにする技術が構築されると、この２つの機会損失を最小に抑えられることになる。
【０００６】
また、例えば５人でカラオケボックスで２時間歌う場合を考える。カラオケボックスでは、最後の１０分頃になると、お店から「お客さん、あと１０分です」のインターホンがかかる。このような場合、「じゃあ、１人１曲ずつ歌って終わりにするか」という段取りになる場合が非常に多いが、そうなると２時間という時間制限を越えてしまう。
【０００７】
このような場合に、楽曲全体の雰囲気を反映したような形態で楽曲全体を縮めることができるようにする技術が構築されると、１人１曲を２分などに要約することが可能になるので、２時間という時間制限を守りつつ１人１曲ずつ全員が歌えるようになる。これは、店にとっても客にとってもメリットがあると考えられる。
【０００８】
また、ピアノレッスンにおいて、生徒が新曲に取り組む際、通常、教師はその生徒に新曲の大まかなイメージを与えるために、模範演奏を行なう。その模範演奏は、全曲を弾く場合もあるが、新曲の大まかなイメージを与えるために、むしろ要所だけをかいつまんで弾く方が効果的な場合もある。
【０００９】
このような場合に、楽曲全体の雰囲気を反映したような形態で楽曲全体を縮めることができるようにする技術が構築されると、より効率的に新曲の大まかなイメージを与えることが可能となる。
【００１０】
以上に説明した具体例からも分かるように、楽曲全体の雰囲気を反映したような形態で楽曲全体を縮めることができるようにする技術が構築されると、様々な有効利用が期待できる。
【００１１】
しかしながら、従来の音楽システムの主要タスクは作曲、編曲、演奏にある。これらに加えて、最近では、音楽検索の需要が高まり、目標とする旋律に類似した旋律をデータベースから探し出すタスク（音楽検索）の研究が盛んである。実際、音楽検索というテーマだけで国際会議が開催されるほど研究者が多い。カラオケなどで稼働しビジネスとして成立しているシステムもある。
【００１２】
いずれにしろ、従来の音楽システムの主要タスクは作曲、編曲、演奏と、最近需要の高まっている検索であり、楽曲の要約を取り扱った先行研究は殆どないというのが実情である。
【００１３】
本発明者が調べた限りでは、楽曲を与えると、それを元に要約を生成するシステムとしては、下記に示す非特許文献１で報告されているＬoganとＣhuが提案したものしかない。
【００１４】
このＬoganとＣhuが提案したシステムでは、楽曲中で最も目立って記憶に残る部分（キーフレーズと呼ぶ）とは最も繰り返されている部分であると仮定する。そして、その仮定に基づいて、オーディオ信号から楽曲の特徴を計算して、最も繰り返されている部分をキーフレーズとして抽出し、その抽出したキーフレーズをもって要約を行うようにしている。
【００１５】
しかし、キーフレーズは聴取者の嗜好や感性に大きく左右されるので、この仮定は常に正しいとは限らない。さらに、ＬoganとＣhuが提案したシステムでは、楽曲全体の構成や雰囲気を反映したような要約を生成することはできない。
【００１６】
一方、商業的な場面での要約はすべて人手に頼っており、その楽曲中の特徴的、印象的な部分（サビなど）の先頭から、あるいは楽曲の開始部分（一般にイントロと呼ばれる）から時間の許す限り再生することにより要約としている。
【００１７】
つまり、商業的な場面で行われている従来手法の要約は、楽曲全体を縮めるのではなく、その一部分を抜き出して来て、それをもって要約としている。もちろん、編曲家の手による作品としての要約も利用されているが、人手によるためコストは非常に高い。
【００１８】
【非特許文献１】
Logan,B.,and Chu,S.,Music Summarization using Key Phrases, In Proceedings of ICASSP 2000.
【非特許文献２】
平田，青柳．音楽理論ＧＴＴＭに基づく多声音楽の表現手法と基本演算．情報処理学会論文誌,Vol.43,No.2,pp.277-286(2002).
【非特許文献３】
Lerdahl,F.,and Jackendoff,R.,Generative Theory of Tonal Musi c,The MIT Press(1983).
【特許文献１】
特開２００２−２３６４８４
【００１９】
【発明が解決しようとする課題】
上述したように、楽曲の要約を取り扱った先行研究は殆どないというのが実情である。
【００２０】
非特許文献１で報告されているＬoganとＣhuが提案したシステムでは、最も繰り返されている部分をキーフレーズとして抽出し、その抽出したキーフレーズをもって要約を行うようにしているが、キーフレーズは聴取者の嗜好や感性に大きく左右されるので、このようにして作成された要約が常に適切なものとは限られないという問題がある。
【００２１】
さらに、ＬoganとＣhuが提案したシステムでは、楽曲全体の構成や雰囲気を反映したような要約を生成することはできないという問題がある。
【００２２】
しかも、ＬoganとＣhuが提案したシステムでは、バッチ方式（楽曲を与えると一括変換で要約を生成する方式）を用いており、ユーザとの対話は行わない。これから、キーフレーズをうまく検出するために、オフラインでパラメータの微調整を行うことが要求されることになる。
【００２３】
一方、商業的な場面で行われている要約は、楽曲の一部をそのまま抜き出してくるだけだったので、楽節や楽章の構成を反映した要約は生成できないという問題がある。
【００２４】
本発明はかかる事情に鑑みてなされたものであって、楽曲全体の雰囲気を反映したような形態で楽曲全体を縮めることができるようにする新たな楽曲要約処理技術の提供を目的とする。
【００２５】
【課題を解決するための手段】
本発明の楽曲要約処理装置は、楽曲全体の雰囲気を反映したような要約の生成を実現するために、（イ）処理対象となる課題曲に対して、音楽理論に基づく楽曲分析を行う分析手段と、（ロ）分析手段による楽曲分析の結果に基づいて、課題曲をそれを表現するオブジェクト項に変換する変換手段と、（ハ）変換手段により変換されたオブジェクト項間の包摂関係を用いて、課題曲の各楽曲部分同士の類似度を判定する判定手段と、（ニ）判定手段による類似度判定結果に基づいて、課題曲の要約のための削除対象として可能となる楽曲部分を特定する特定手段と、（ホ）特定手段による特定結果に基づいて、課題曲を要約する要約手段とを備えるように構成する。
【００２６】
以上の各処理手段はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどの記録媒体に記録して提供したり、ネットワークを介して提供することができる。
【００２７】
次に、このように構成される本発明の楽曲要約処理装置の処理について説明する。
【００２８】
（イ）分析手段の処理
分析手段は、処理対象となる課題曲が与えられると、楽曲全体の雰囲気を反映したような要約の生成を実現するために、音楽理論に基づく楽曲分析を行う。
【００２９】
例えば、ＧＴＴＭ（generative theory of total music）のタイムスパン簡約（ある楽曲をタイムスパン簡約するとは、楽曲中の重要でない音を削除することを意味する）を用いて、２つの音の内のどちらの方が重要であるのかを決定しながら、課題曲を構成する音のグルーピング構造を決定することで、課題曲の楽曲分析を行うのである。
【００３０】
図１左側に、簡単な旋律とそのタイムスパン簡約木を示す。タイムスパン簡約木は二進木であり、重要な方の枝を primary枝、そうでない方の枝を secondary枝と呼ぶ。タイムスパン簡約木を用いたグルーピングは楽曲全体が１つのグループになるまで続けられ、タイムスパン簡約木の最下端の枝には五線譜上の各音（和音や単音）が現れる。 primary枝及び secondary枝で支配される時間幅は、headと呼ばれる１つの音／和音で代表される（ここではＣ４）。
【００３１】
本発明者は、ＧＴＴＭの記述に基づく新たな楽曲表現法を提案したが（非特許文献２，特許文献１参照）、この提案した楽曲表現法では、タイムスパン簡約木と、ポリフォニー（単旋律に解釈されるホモフォニーが組み合わされたもので、ホモフォニーだけのものも含む）に含まれる各音の時間情報とを表現することができる。
【００３２】
各音の時間情報を表現する必要があるのは、図２に示すような場合に、どちらも primary枝及び secondary枝で記述される音が同じとなることで、時間情報を導入しないと両者を区別できなくなるからである。この時間情報には、各音の発音時刻や音価だけでなく、注目している音とその周囲の音との時間関係を含む。なお、図１では時間情報については図示していない。
【００３３】
この提案した楽曲表現法の時間構造が依拠する直感は、発音時刻の時間差を抽象化すると発音順序になる、というものである。すなわち、図３に示すように、発音時刻の時間差を抽象化すると発音順序になることに着目して、時間情報を表現するようにしている。
【００３４】
図１右側の旋律はＣ４音のみからなり、同図左側の旋律より、タイムスパン簡約に関して抽象的と見なせる（左側の旋律は右側の旋律よりも具体的である）。この旋律の抽象・具体関係を包摂関係（半順序）の一種と見なし、説明の便宜上、集合の包含関係を表す“⊆”という記号で表現する。
【００３５】
ＬerdahlとＪackendoff(非特許文献３参照）によると、headの値には４通りの設定法がある。図１でのhead値の設定法は“ordinary”であり、図４（アルベルティ・バス）でのhead値の設定法は“fusion”である。head値の設定法も分析された旋律の解釈に依存する。
【００３６】
ここで、ＧＴＴＭが扱う旋律は理論的な理由でホモフォニーに限定されているが、本発明では、図５に示すように、ホモフォニーでタイムスパン簡約を行って代表音を決定し、それらの代表音をタイムスパン簡約することで、時間的な重畳を許す２つのポリフォニーの間にタイムスパン簡約としての順序を付与するようにしている。
【００３７】
（ロ）変換手段の処理
ＧＴＴＭ分析を行って、タイムスパン簡約木の形、headの値、時間構造を決定して、その分析結果を、非特許文献２や特許文献１に記載するＧＴＴＭの記述に基づく楽曲表現法によって表現すると、タイムスパン簡約の抽象・具体関係は、演繹オブジェクト指向データベース（ＤＯＯＤ）におけるオブジェクト項の包摂関係として自動的に表現される。
【００３８】
これから、変換手段は、分析手段による楽曲分析の結果に基づいて、課題曲をそれを表現するオブジェクト項に変換する。
【００３９】
ここで、ＤＯＯＤは、対象をオブジェクトとその属性の集合からなるオブジェクト項として表現するものであり、属性の欠落や属性の型宣言を記述するために一階述語論理を拡張した手法であって、演繹規則によって項間の包摂関係を定義することができ、この包摂関係によって、曖昧な項とそうでない項とを形式的に結び付けることが可能となる。
【００４０】
このオブジェクト項への変換によって、例えば、図１に示す２つの旋律を、非特許文献２や特許文献１に記載するＧＴＴＭの記述に基づく楽曲表現法によってあるデータ構造として表現すると、この２つの旋律間に包摂関係が成り立つことが自動的に判定できる。
【００４１】
このとき、もし旋律に異なる分析結果を与えると、タイムスパン簡約木の形、headの値、時間構造も変わり、異なる包摂関係が成立する。
【００４２】
このことから分かるように、変換手段により変換されたオブジェクト項は、単なる記号の順序関係から生成されるものではなくて、楽曲分析の結果に基づいて生成されるものであって、楽曲の旋律の音楽的構造を反映したものとなっている。
【００４３】
（ハ）判定手段の処理
判定手段は、変換手段により変換されたオブジェクト項間の包摂関係を用いて、課題曲の各楽曲部分同士の類似度を判定する。
【００４４】
例えば、オブジェクト項間の共通部分の最小上界（least upper bound, lub）を求めて、その最小上界により失われる情報の大きさを評価することで、課題曲の各楽曲部分同士の類似度を判定する。
【００４５】
このとき、楽曲の持つ異なる音楽的側面に対しての複数の閾値を使って、最小上界により失われる情報の大きさを多面的に評価することで、課題曲の各楽曲部分同士の類似度を判定することがある。
【００４６】
ここで、最小上界ｌｕｂ（ｘ，ｙ）とは、オブジェクト項ｘ，ｙが与えられたときに“ｍｉｎ（｛ｚ｜ｘ⊆ｚ∧ｙ⊆ｚ｝）”と定義され、全てのｘ，ｙについて、“ｘ⊆ｌｕｂ（ｘ，ｙ）”及び“ｙ⊆ｌｕｂ（ｘ，ｙ）”が成り立つ。
【００４７】
すなわち、最小上界ｌｕｂ（ｘ，ｙ）とは、ｘとｙよりも共通に大きい要素の中で最も小さいものとして定義されるものであり、直感的には、２つのポリフォニーの最大共通部分を計算する。
【００４８】
判定手段は、この最小上界ｌｕｂを使って、２つの旋律に共通部分が多ければ多いほど、お互いにより類似していると判定する。
【００４９】
音楽理論は、長年に渡る人間の音楽認知の観察、定式化、検証の上に成り立っている。本発明では、定評のある音楽理論ＧＴＴＭと理論的な取り扱いが容易な知識表現手法ＤＯＯＤとを用いることで、十分な情報量を持った内部表現（オブジェクト項）を実現しつつ、２つのオブジェクト項の共通部分をとる最も基本的な演算である最小上界を適用して、２つのオブジェクト項（つまり楽曲）の類似度を判定するようにしている。
【００５０】
このように、オーディオ信号ではなく楽譜相当の情報（例えば、標準ＭＩＤＩファイル（ＳＭＦ）形式など）を入力可能として、十分な情報量を持つ内部表現を利用した類似度判定を行っており、高次の音楽的な情報を精度よく得ることができるようになる。
【００５１】
これに対して、従来の楽曲類似度判定アルゴリズムで用いられている内部表現では、高々音符（あるいは音符の集合）の間に同時、前、後という単純で平板な基本関係しか与えていないので、音楽理論が教えるような多声音楽の階層的な解釈や構造を表現できない。よって、楽曲の類似度を判定する際も、従来法では楽曲が持つ階層的な解釈や構造を考慮できないという問題がある。
【００５２】
（ニ）特定手段の処理
特定手段は、判定手段による類似度判定結果に基づいて、互いに類似する楽曲部分を特定することで、課題曲の要約のための削除対象として可能となる楽曲部分を特定する。
【００５３】
本発明の楽曲要約処理装置では、傷の付いたレコード盤上での針飛びで生ずる速聴きのような方法で楽曲を要約することを実現する。ただし、その針飛びは任意の場所で生ずるのではなくて、楽曲の区切り個所において音楽的に正しく生ずるようにする。
【００５４】
このような針飛びを実現するために、本発明の楽曲要約処理装置では、図６に示すように、互いに類似する楽曲部分の一部を削除することで課題曲を要約するという構成を採る。
【００５５】
そこで、特定手段は、判定手段による類似度判定結果に基づいて、互いに類似する楽曲部分を特定することで、課題曲の要約のための削除対象として可能となる楽曲部分を特定するのである。
【００５６】
（ホ）要約手段の処理
要約手段は、例えば、課題曲のどの楽曲部分とどの楽曲部分とが類似するのかをディスプレイに明示出力して、対話処理に従って、課題曲の要約のために削除すべき楽曲部分を決定することで課題曲を要約する。
【００５７】
楽曲全体の構成を反映した要約結果は、要約を行うユーザの嗜好や主観に依存する。
【００５８】
これから、本発明の楽曲要約処理装置では、音楽理論によって支えられる部分とユーザの嗜好や主観に依存する部分とを区別して、音楽理論によって支えられる部分については自動化が容易であるので自動化を行い、一方、ユーザの嗜好や主観に依存する部分は自動化が困難な面があるので、ユーザの意図を効率良く取り込むために、必要に応じてユーザとインタラクションを行うことで課題曲を要約するという構成を採るものである。
【００５９】
以上に説明した分析手段／変換手段／判定手段／特定手段／要約手段の処理に従って、本発明の楽曲要約処理装置によれば、楽曲全体の雰囲気を反映したような形態を実現しつつ、あたかも傷の付いたレコード盤上での針飛びで生ずる速聴きのような形でもって楽曲全体を縮めることができるようになる。
【００６０】
【発明の実施の形態】
以下、実施の形態に従って本発明を詳細に説明する。
【００６１】
本実施形態例の説明に入る前に、本実施形態例の実現のために用いられる技術について説明する。
【００６２】
〔１〕実施形態例の実現のために用いられる技術の説明
〔１−１〕演繹オブジェクト指向データベースについての一般的な説明
演繹オブジェクト指向データベース（ＤＯＯＤ：Deductive Object-Oriented Database) は、知識表現の一手法である。演繹オブジェクト指向データベースにおけるオブジェクト項の一般形は、
種類（属性１の名前＝属性１の値，属性２の名前＝属性２の値，…）
のようになっている。
【００６３】
例えば、リンゴについて、赤いリンゴ、小さいリンゴという２つの概念（実体）を表現する場合を考える。ともに種類はリンゴである。「リンゴ」の場合、特にそれ以上の特徴はないので、
リンゴ
と記述する。
【００６４】
「赤いリンゴ」は、単なるリンゴに色が赤いという特徴が付加されたものである。そこで、
リンゴ（色＝赤）
と記述する。また、「小さいリンゴ」は、サイズが小さいという特徴が付加されたと考えられるので、
リンゴ（サイズ＝小さい）
と記述する。以上から明らかなように、「大きくて青いリンゴ」の表現は、
リンゴ（サイズ＝大きい、色＝青）
となる。
【００６５】
実際のオブジェクト項では、属性値にオブジェクト項を書くことで、より複雑な概念や実体を表現することができる。
【００６６】
なお、素性構造も本質的には演繹オブジェクト指向データベースと同じ概念であり、本明細書の全体において統一的な説明のため演繹オブジェクト指向データベースの用語を用いて説明するが、本明細書でいう演繹オブジェクト指向データベースには、素性構造の技術概念が含まれる。本明細書において、「演繹オブジェクト指向データベース」は「素性構造」と、「オブジェクト項」は「素性項」と読み替えることができる。
【００６７】
以上のように、オブジェクト項は o( …, l = v,…) と記述される。ｏは基本オブジェクト項、ｌ＝ｖは属性、ｌは属性ラベル、ｖは属性値を表す。
【００６８】
属性には固有と非固有の２種類がある。固有属性とは、オブジェクトの識別に使用される属性であり、非固有属性とは、そうでない属性である。記法上は、
o(…,l=v, …)/( …,m=w, …)
のように、"/" の左側に固有属性、右側に非固有属性を書く。例えば、「o(a=1)/(b=2)」と「o(a=1)/(c=3)」は、同一のオブジェクトである。
【００６９】
〔１−２〕一般的な包摂関係の説明
本システムでは、音楽的な対象間に成り立つ順序関係を、オブジェクト項間の包摂関係に対応付けることにより、包摂関係を用いて対象間の相対的類似度を計算する。また、本システムにおいて、包摂関係は、オブジェクト項間の共通部分の抽出や、オブジェクト項の抽象化、具体化などの演算などに用いられる。以下では、この包摂関係についての説明を行う。なお、説明の便宜上、包摂関係を集合の包含関係と同様な記号⊆で表すことにする。
【００７０】
包摂関係とは、「情報量が多いオブジェクト⊆情報量が少ないオブジェクト」ということを意味している。「具体的なオブジェクト⊆抽象的なオブジェクト」、または「特殊⊆一般」と言い換えてもよい。
【００７１】
簡単な例で説明する。「リンゴ」と「赤いリンゴ」を表現するオブジェクト項間の包摂関係を考える。「赤いリンゴ」のほうが「リンゴ」より「赤い」という特徴がある分だけ具体的で情報が多いとみなせる。このようなとき、
リンゴ（色＝赤）⊆リンゴ
と表記する。
【００７２】
一般に、ｓ⊆ｔとなるためには、次の２つの条件のいずれか一方または両方が成立することが必要である。
【００７３】
条件１．ｓ＝ｋ（…,l=v，…）、かつｔ＝ｋ（…）
〔例： リンゴ（色＝赤）⊆リンゴ〕
ｓの方にｌ＝ｖという属性が余計に付加されている。他の属性に関しては、ｓとｔは同じ属性名と属性値を持っている。
【００７４】
条件２．ｓ＝ｋ（…,l=v，…）、かつｔ＝ｋ（…,l=w，…）、かつｖ⊆ｗ
〔例：人間（住所＝東京（区＝新宿））⊆人間（住所＝東京）〕
ｓもｔも同じ名前の属性ｌを持っているが、その属性値の間にｖ⊆ｗという関係が成り立っている。
【００７５】
〔１−３〕包摂関係の定義
オブジェクト項間の包摂関係は、以下に説明する演繹規則によって定義される。今、
ｏ1 ＝ｐ（…，ｌm ＝ｖ，…），ｏ2 ＝ｑ（…，ｌn ＝ｗ，…）とすると、
ｏ1 ，ｏ2 間の包摂関係は、
ｏ1 ⊆ｏ2 ←ｐ⊆ｑ∧∀ｎ∃ｌm （ｌm ＝ｌn ∧ｖ⊆ｗ）
のように定義される。つまり、ｏ1 の基本項（ｐ）とｏ2 の全ての属性（ｌn ）について、それらが全て具体的であるならば、ｏ1 の方が具体的あるいはｏ2 の方が抽象的であるという意味である。
【００７６】
さらに、ｏ1 ，ｏ2 がオブジェクト項を要素に持つ集合の場合、ｏ1 ，ｏ2 間の包摂関係として様々な定義が考えられる。以下に、代表的な２つを演繹規則として記述する。
【００７７】
ｏ1 ⊆H ｏ2 ←∀ｓi ∈ｏ1 ∃ｔj ∈ｏ2 ｓi ⊆ｔj
ｏ1 ⊆S ｏ2 ←∀ｔj ∈ｏ2 ∃ｓi ∈ｏ1 ｓi ⊆ｔj
ここで、「⊆H 」は、いわゆる集合のＨｏａｒｅ順序に、「⊆S 」は、Ｓｍｙｔｈ順序に等しい。例えば、
｛ｂ，ｄ｝⊆H ｛ａ，ｂ，ｃ，ｄ｝
｛ａ，ｂ，ｃ，ｄ｝⊆S ｛ｂ，ｄ｝
のようになる。Ｈｏａｒｅ順序は、集合要素間に選言の意味がある場合に用いられ、Ｓｍｙｔｈ順序は、連言の意味がある場合に用いられる。
【００７８】
〔１−４〕最小上界および最大下界の定義
オブジェクト項ｘ，ｙが与えられたとき、ｘとｙの最小上界 (least upper bound, lub) とは、
min(｛ｚ｜ｘ⊆ｚ∧ｙ⊆ｚ｝) であり、「lub(x,y)」と書く。
【００７９】
ｌｕｂの直観的な意味は、ある二つのオブジェクトに共通で抽象的なオブジェクトのうち、最も具体的なものであり、積集合を計算するイメージである。すなわち、ｘとｙよりも共通に大きい要素の中で最も小さいものである。いわば、積集合あるいは最小公倍数のようなものと考えてよい。
【００８０】
最大下界 (greatest lower bound, glb)についても同様に定義できる。オブジェクト項ｘ，ｙが与えられたとき、ｘとｙの最大下界とは、
max(｛ｚ｜ｚ⊆ｘ∧ｚ⊆ｙ｝）であり、「glb(x,y)」と書く。
すなわち、ｘとｙよりも共通に小さい要素の中で最も大きいものである。いわば、和集合あるいは最大公約数のようなものと考えてよい。
【００８１】
演繹オブジェクト指向データベースでは、ｌｕｂをｊｏｉｎ、ｇｌｂをｍｅｅｔとも呼ぶ。上で定義したオブジェクト項の領域は⊆に関して完備束を構成する。ｌｕｂが以下で説明する本システムを構成するときの基本演算子となる。
【００８２】
〔１−５〕一つの音の表現
本表現法では、音楽的な対象のうち、単なる１音、Ｃ、Ｃ５を演繹オブジェクト指向データベースを用いて以下のような項として表現する。
前述の包摂関係を用いると、これらの音を表現するオブジェクト項間に、
note(pitch=C,octave=5)⊆note(pitch=C) ⊆note
のような包摂関係が自動的に成立する。
【００８３】
〔１−６〕和音の表現
本表現法では、音楽的な対象のうち、和音を集合として表現する。そして、集合もオブジェクト項の一種と定義する。
【００８４】
例えば、和音は以下のような項（集合項）として表現される。
一つの音の場合と同様、このようにオブジェクト項として表現された和音の間には、
のような包摂関係が自動的に成立する。
【００８５】
〔１−７〕和音の列の表現
Ｎ個の和音からなる和音の列の表現には、以下の方法ａ，ｂの２通りが考えられる。ここでは、読み易さのために、各和音をｃｈｏｒｄ1 ，ｃｈｏｒｄ2 のように表記する。
方法ａは、個々の和音ごとに異なる属性を割り当てる方法である。方法ｂは、個々の和音を要素とするような線形リンク構造（［…］で表記）をある属性の属性値として持たせる方法である。
【００８６】
〔１−８〕多声旋律の表現
旋律や和音を構成する複数の音が楽曲の一部あるいは全体を構成する。ここでは、そのような楽曲の一部あるいは全体を多声旋律と呼ぶ。
【００８７】
本システムでは、演繹オブジェクト指向データベース（ＤＯＯＤ）に基づいて多声旋律を表現するためのオブジェクト項を導入する。オブジェクト項の抽象化、具体化が、多声旋律の簡単化、複雑化にうまく対応するようにオブジェクト項を設計しなければならない。
【００８８】
〔１−９〕グルーピング構造の表現
楽曲のグルーピング構造を表現するために、ＧＴＴＭのタイムスパン簡約木（Time-Span Reduction Tree）を利用する。図７にグルーピング構造の例を示す。タイムスパン簡約木は、ボトムアップに楽曲構造的に重要な音 (和音) と、隣接する重要でない音 (和音) とをまとめて (グルーピングして) 行く様子を表現している。
【００８９】
ここでは簡単化のためタイムスパン簡約木は二進木とし、重要な音を primary、そうでない音を secondaryと呼ぶ。グルーピングされた primaryと secondaryは、ある一つの音 (和音) で代表され、それをheadと呼ぶ。primary/secondary とheadの関係には、primary, fusion, transformational の３通りがある。
【００９０】
タイムスパン簡約木の末端のノード (葉) は、ある時刻に生起した音 (和音) を表し、primary/secondary を持たない。タイムスパン簡約木では primaryの生起時刻が１段上のグルーピング構造の生起時刻となる。あるタイムスパン簡約木から primaryや secondaryの枝を削除すると、より簡単なタイムスパン簡約木が得られる。
【００９１】
〔１−１０〕時間構造の表現
まず、楽曲における時間構造の抽象化、具体化の関係について考察する。通常、定量的な記述を抽象化すると定性的な記述が得られる。多声旋律中に現われる各音の生起時刻は定量的に決められるが、これを抽象化した定性的な記述とは「順序」であると考えられる。これは、厳密な時刻が分からなくても、先か後かの順番だけ記述されているという状況である。
【００９２】
さらに順序は、縮退によって条件の緩い抽象的で簡単な順序になる。例えば、「イベントａが先でイベントｂが後」という順序を縮退すると、「イベントａはイベントｂより先あるいは同時」という順序が得られる。
【００９３】
以上の考察から、時間構造のモデルは、時刻に関する定量的な情報と順序に関する情報とを分離して記述できなければならないことが分かる。
【００９４】
本システムで提案する時間構造の例を図８に示す。図中 p, q, r, s はイベントである。まずイベントｐの生起時刻を基準と仮定する。次にイベントｓに着目すると、ｓはｐと＋ωの間に生起し (順序に関する情報) 、ｐから３拍半の時刻に生起する (時刻に関する定量的な情報) 。同様にｑはｐとｓの間に生起し、ｐから１拍目、ｒはｑとｓの間に生起し、ｓから半拍目の場所に位置している。さらに、ｒの時刻が縮退する先は楽曲的により重要な拍であり (この場合はｓ) 、それが「→」で示されている。
【００９５】
〔１−１１〕各オブジェクトの属性と属性値
本システムで実際に用いるオブジェクト項の構文規則を図９に示す。
【００９６】
この構文において、objclass（name1:objclass1,…）のobjclassはオブジェクトクラス名、name1 は固有属性名、objclass1 は属性値のオブジェクトクラス名あるいはデータ型という意味である。オブジェクトを構成する際に必須の属性と必須でない属性があり、必須でない属性名の左肩には＆を付けた。
【００９７】
小文字で始まる語はオブジェクト名を表し、大文字で始まる語はそれ以外のデータやデータ型を表す。Integer は整数の集合を表し、Ｃ..Ｂはドからシまでの７の音名からなる集合を表し、After , Beforeは予約語であり、＋ωは正の無限大の時刻、−ωは負の無限大の時刻の意味である。ｘ｜ｙは、ｘまたはｙという意味である。｛ｘ｝はｘからなる集合を表す。
【００９８】
オブジェクト項 chordのnotes 属性は和音を構成する個々の音を表し、duration属性は和音が鳴っている時間的長さを表す。notes 属性の値が singleton集合の時、それは単音と等価である。noteオブジェクトの noteNumber 属性では、音高がＭＩＤＩノートナンバによって表現されている。
【００９９】
この eventオブジェクトは、時間的に重複するグルーピング構造も記述できるという点において、ＧＴＴＭのタイムスパン簡約木の拡張になっている。
【０１００】
〔１−１２〕event オブジェクトに関する包摂関係
event オブジェクトは、上述したグルーピング構造と時間構造のモデルを実現している。つまり、モデルにおける抽象化、具体化の操作がオブジェクト項の包摂関係に対応付けられている。
【０１０１】
グルーピング構造に関する抽象化は、楽曲構造上、重要でない音を削除することであり、これはprimary 属性や secondary属性を削除することに対応する。
【０１０２】
時間構造に関する抽象化は２通りある。一つは定量的な時刻の情報を削除することであり、これはdifference属性を削除することに対応する。もう一つは、拍節構造的により重要な隣接する拍に時刻が縮退することであり、このために以下のような新しい包摂関係を導入する。
【０１０３】
ある時刻を表現するオブジェクト項 t (t ⊆ temp)があるとき、t.reference によって指定される拍の方が拍節構造的により重要な拍である。したがって、ｔがt.(t.reference) に縮退すると、時間構造はより抽象的 (簡略) になることが分かる。つまり、t ⊆ t.(t.reference)である。ここで、t.reference の指定は、グルーピング構造と整合しなくてはならないことに注意されたい。
【０１０４】
図８の例では、時刻 tr は、
temp(after=tq, before=ts, reference=Before, difference=8分音符) というオブジェクト項で記述できるので、 tr ⊆ ts となる。
【０１０５】
〔２〕実施形態例の説明
次に、本発明の実施形態例について詳細に説明する。
【０１０６】
図１０に、本発明を具備する楽曲要約処理装置１の持つ機能構成の一実施形態例を図示する。
【０１０７】
この図に示すように、本発明の楽曲要約処理装置１は、処理対象となる課題曲を要約して出力する処理を行うものであって、楽曲入力装置２と入出力装置３と楽曲出力装置４とに接続されて、楽曲入力部１０と、タイムスパン簡約分析部１１と、オブジェクト項変換部１２と、作業用メモリ域１３と、オブジェクト項間類似度判定部１４と、楽曲要約部１５とを備える。
【０１０８】
楽曲入力装置２は、処理対象となる課題曲を入力する装置である。入力する方法としては、楽譜の形式で入力する方法、楽曲のエディタから入力する方法、ＭＩＤＩデータとして入力する方法、音声入力により入力する方法など種々の方法があり、いずれの入力方法を用いてもよい。入出力装置３は、マウスやディスプレイを有してユーザとの間の対話手段として機能する。楽曲出力装置４は、要約結果の楽曲を出力する装置であり、スピーカによる出力、楽譜の形式による出力、ＭＩＤＩデータによる出力など出力方法は問わない。
【０１０９】
楽曲入力部１０は、楽曲入力装置２から入力されてくる楽曲を受け取ることで、処理対象となる課題曲を入力する。
【０１１０】
タイムスパン簡約分析部１１は、ＧＴＴＭのタイムスパン簡約を用いて、入力された課題曲に対して音楽理論に基づく楽曲分析を行う。
【０１１１】
オブジェクト項変換部１２は、タイムスパン簡約分析部１１により生成されたタイムスパン簡約木に従って、課題曲を演繹オブジェクト指向データベースのオブジェクト項に変換することで、課題曲をそれを表現するオブジェクト項に変換して、それを作業用メモリ域（内部，外部）１３に保存する。
【０１１２】
オブジェクト項間類似度判定部１４は、作業用メモリ域１３に保存されているオブジェクト項間の包摂関係を用いて、課題曲の各楽曲部分同士の類似度を判定する。
【０１１３】
楽曲要約部１５は、オブジェクト項間類似度判定部１４により得られた類似度判定結果に基づいて、課題曲の要約のための削除対象として可能となる楽曲部分を特定し、その楽曲部分をディスプレイに明示出力してユーザと対話することで、最終的に削除する楽曲部分を決定することにより課題曲を要約する。
【０１１４】
図１１に、タイムスパン簡約分析部１１の実行する処理フローの一例を図示し、図１２に、オブジェクト項間類似度判定部１４の実行する処理フローの一例を図示し、図１３及び図１４に、楽曲要約部１５の実行する処理フローの一例を図示する。
【０１１５】
次に、これらの処理フローに従って、このように構成される本発明の楽曲要約処理装置１の実行する処理について説明する。
【０１１６】
〔２−１〕タイムスパン簡約分析部１１の処理
タイムスパン簡約分析部１１は、楽曲入力部１０の入力した課題曲の要約要求が発行されると、図１１の処理フローに示すように、先ず最初に、ステップ１０で、楽曲入力部１０の入力した課題曲を読み込み、続くステップ１１で、その読み込んだ課題曲の楽譜情報を入出力装置３のディスプレイに表示する。
【０１１７】
続いて、ステップ１２で、読み込んだ課題曲の全ての音を発音時刻順にソートして、デフォルトのタイムスパン簡約木（次に発音時刻の早い音が左secondary 枝となる形で生成する）を生成し、それを課題曲の楽譜情報に対応付けて入出力装置３のディスプレイに表示する。
【０１１８】
続いて、ステップ１３で、ユーザと対話することでディスプレイに表示しているタイムスパン簡約木を編集することにより、課題曲の旋律に合った形でタイムスパン簡約木を作成する。
【０１１９】
すなわち、図１５に示すように、ユーザと対話することでディスプレイに表示しているタイムスパン簡約木を編集し、これにより、音楽家の意図を表す多声旋律について、隣接した音同士をボトムアップにまとめ上げていくことで、図１６（Ａ）に示すようなタイムスパン簡約木を作成していくのである。
【０１２０】
このようにして作成したタイムスパン簡約木は、図９に示したオブジェクト項の構文規則に従って、ＤＯＯＤのオブジェクト項表現により内部表現されることになる。例えば、図１６（Ａ）の最初の３個の音符に着目すると、その部分のタイムスパン簡約木は図１６（Ｂ）に示すようになり、その多声旋律の内部構造は図１６（Ｃ）に示すように表される。これに対応するオブジェクト項表現は図１６（Ｄ）のようになる。ここでは、event を“ｅ”、headを“ｈｄ”、primary を“ｐ”、secondary を“ｓ”と簡略化して表現している。
【０１２１】
続いて、ステップ１４で、ユーザと対話することでディスプレイに表示しているタイムスパン簡約木に時間構造を付与する。
【０１２２】
すなわち、図１７に示すように、ユーザと対話することでディスプレイに表示しているタイムスパン簡約木に時間構造を付与するのである。
【０１２３】
図１８に、時間構造の分析例を示す。図１８の例では、音要素ｔ１を基準にして時間構造を分析している。図１８では、tempを“ｔ”、after を“ａｆｔ”、beforeを“ｂｆｒ”、reference を“ｒｅｆ”、differenceを“ｄｉｆｆ”と簡略化して表現している。例えば、図１８のｔ４オブジェクト項表現において、ｔ４は、ｔ１の後にあり、正の無限大の時刻（＋ω）より前にあることを示している。また、ｒｅｆ＝ａｆｔであるので、先行する拍のほうが後続の拍より重要な拍であることを示している。ｄｉｆｆ＝３は、ｔ１との時間差が３拍であることを示している。
【０１２４】
続いて、ステップ１５で、オブジェクト項変換部１２を起動して、処理を終了する。
【０１２５】
このようにして、タイムスパン簡約分析部１１は、楽曲入力部１０の入力した課題曲の要約要求が発行されると、課題曲についてのタイムスパン簡約木と時間構造ネットワークを作成することで課題曲の楽曲分析を実行するのである。
【０１２６】
〔２−２〕オブジェクト項変換部１２の処理
このタイムスパン簡約分析部１１による課題曲の楽曲分析を受けて、オブジェクト項変換部１２は、図９に示すオブジェクト項の構文規則に従って、オブジェクト項変換部１２により生成されたタイムスパン簡約木と時間構造ネットワークをオブジェクト項表現に翻訳して、それを作業用メモリ域１３に保存する。
【０１２７】
図１９に、多声旋律のオブジェクト項表現の例を示す。図１９（Ａ）に示す内部構造を持つ多声旋律をオブジェクト項表現すると、図１９（Ｂ）に示すようになる。なお、ここでは前述した予約語の簡略化記法に加えて、chord を“ｃｈｄ”、notes を“ｎｔｓ”、noteを“ｎｔ”、noteNumberを“ｎｎ”、durationを“ｄｕｒ”と簡略化して表現している。
【０１２８】
〔２−３〕オブジェクト項間類似度判定部１４の処理
オブジェクト項間類似度判定部１４は、オブジェクト項変換部１２によりオブジェクト項が生成されると、図１２の処理フローに示すように、先ず最初に、ステップ２０で、ユーザと対話することで類似度判定に用いるパラメータを設定する。具体的には、類似度判定の対象となる楽曲部分のサイズＳと、そのマージンＭと、３つの閾値ＴN,ＴA,ＴT とを設定する。
【０１２９】
これらのパラメータの設定については、課題曲の楽譜情報を表示する画面に、スライダーなどを表示してユーザと対話することで行う。
【０１３０】
この楽曲部分のサイズＳについては複数の値を設定することが可能であり、例えば、２，４，８，１６拍というように設定する。サイズＳが４拍で、マージンＭが１０％の場合、類似度判定の対象となる楽曲部分のサイズは３.6拍から４.4拍の間に限られることになる。
【０１３１】
続いて、ステップ２１で、判定対象となる全ての楽曲部分を処理したのか否かを判断して、処理していないことを判断するときには、ステップ２２に進んで、判定対象となる未処理の楽曲部分（設定されたサイズを持つ）を選択する。
【０１３２】
すなわち、課題曲の中から判定対象となる未処理の楽曲部分を選択するのである。このとき、任意の楽曲部分を選択できる訳ではなくて、タイムスパン簡約木の木構造に従って選択可能となる楽曲部分が規定されることになるので、その条件の許す楽曲部分を選択することになる。
【０１３３】
続いて、ステップ２３で、類似度判定の相手先となる全ての楽曲部分を処理したのか否かを判断して、処理していないことを判断するときには、ステップ２４に進んで、判定の相手先となる未処理の楽曲部分（設定されたサイズを持つ）を選択する。
【０１３４】
すなわち、課題曲の中から判定先となる未処理の楽曲部分を選択するのである。このとき、任意の楽曲部分を選択できる訳ではなくて、タイムスパン簡約木の木構造に従って選択可能となる楽曲部分が規定されることになるので、その条件の許す楽曲部分を選択することになる。
【０１３５】
続いて、ステップ２５で、判定対象となる楽曲部分のオブジェクト項と、判定先となる楽曲部分のオブジェクト項との間の最小上界ｌｕｂを求める。
【０１３６】
例えば、図２０（Ａ）〜（Ｅ）に示すように、２つのオブジェクト項間の最小上界ｌｕｂを求めるのである。
【０１３７】
ここで、図２０（Ａ）に示す例は、Ｃ４Ｇ４とＣ４という単純な２つの旋律の最小上界ｌｕｂの計算の例である。これら２つの旋律のタイムスパン簡約木は示してあるが、時間構造は省略した。ここでは、「旋律Ｃ４Ｇ４⊆旋律Ｃ４」という包摂関係が成立しており、最小上界ｌｕｂの結果は旋律Ｃ４である。
【０１３８】
また、図２０（Ｂ）に示す例では、２つの旋律の中央の音は各々Ｄ４，Ｆ４であり、これらは音高やタイムスパン木に関して照合しない（従って時間構造に関しても照合しない）ので、最小上界ｌｕｂの結果にはこれらＤ４，Ｆ４の音は含まれない。
【０１３９】
また、図２０（Ｃ）の例は、音高が同じだが音価が異なるような例である。この最小上界ｌｕｂの結果は、音価の情報が確定しないＣ４，Ｆ４，Ｇ４が音列を作り、最後が四分音符のＣ５であるような旋律である。つまり、結果の抽象的な旋律は、入力の２つの旋律から得られる旋律の内、最も共通部分が多い旋律となっている。Ｃ４，Ｆ４，Ｇ４は、音高は確定しているが音価が不確定という意味で不完全である。
【０１４０】
また、図２０（Ｄ）の例は、ともにＣ４を含むＤ４Ｃ４とＣ４Ｇ４という２つの旋律の最小上界ｌｕｂの計算の例である。時間情報も考慮する必要があるので、旋律の開始時刻を適切に揃えてから最小上界ｌｕｂを計算する。この図の例では、Ｃ４直前の小節線を揃えてから最小上界ｌｕｂを計算しており、最小上界ｌｕｂの結果は旋律Ｃ４となる。
【０１４１】
また、図２０（Ｅ）の例は、図２０（Ｄ）の例と同じ音列であるが開始時刻が異なる旋律の最小上界ｌｕｂの結果を示している。開始時刻が異なることで共通部分を持たず、その結果、最小上界ｌｕｂは空（Ｔと書く）となる。
【０１４２】
この最小上界ｌｕｂは、入力の２つの旋律の最大共通部分を計算するので、計算結果が入力と等しい場合には、ｌｕｂを計算したことによる情報の損失がなく、その２つの旋律は等価である（最も類似している）と考えられる。逆に、計算結果がＴの場合には、入力の旋律の情報が全て失われたことを意味しており、入力の２つの旋律は無関係である（全く類似していない）と考えられる。
【０１４３】
そこで、オブジェクト項間類似度判定部１４は、最小上界ｌｕｂの計算によって失われた情報（タイムスパン簡約木に関するものと時間構造に関するものとがある）の量をもって、２つの旋律の類似度を計測することとする。
【０１４４】
これから、ステップ２５で、判定対象となる楽曲部分のオブジェクト項と、判定先となる楽曲部分のオブジェクト項との間の最小上界ｌｕｂを求めると、続いて、ステップ２６で、その求めた最小上界ｌｕｂを使って、その２つの楽曲部分Ｐ，Ｑの間の類似度の尺度ＲN,ＲA,ＲT を、
Ｒ$ （Ｐ，Ｑ）＝｜ｌｕｂ（Ｐ，Ｑ）｜$ ／ｍａｘ（｜Ｐ｜$,｜Ｑ｜$ ）
但し、＄＝Ｎ，Ａ，Ｔ
という算出式に従って算出する。
【０１４５】
ここで、｜Ｐ｜N はＰに含まれる音の総数、｜Ｐ｜A はＰのnoteオブジェクトに含まれる属性の総数、｜Ｐ｜T はＰの時間オブジェクトに含まれる属性の総数、｜Ｑ｜N はＱに含まれる音の総数、｜Ｑ｜A はＱのnoteオブジェクトに含まれる属性の総数、｜Ｑ｜T はＱの時間オブジェクトに含まれる属性の総数を示している。
【０１４６】
１つの音（noteオブジェクト）は２つの属性（音高／音価と発音時刻）を持つので、well-formed(Ｔを含まないよう）なＰに関して｜Ｐ｜A ＝２×｜Ｐ｜N となる。同様に、１つの時間オブジェクトは４つの属性（先行音、後続音、注目音、時間差分）を持つので、well-formed(Ｔを含まないよう）なＰに関して｜Ｐ｜T ＝４｜Ｐ｜N となる。
【０１４７】
ＲN とＲA はタイムスパン簡約木に関連しており、ＲT は時間構造に関連している。ＲN は、不完全な音でも１つの音と見なして、音のレベルでのタイムスパン簡約木の類似度を表している。ＲA は、属性のレベルでのタイムスパン簡約木の類似度を表しており、ｌｕｂの結果に含まれる全ての音について、音高と音価の属性がどの程度確定しているかを示す。同様に、ＲT は、属性のレベルでの時間構造の類似度を表しており、ｌｕｂの結果に含まれる全ての音の発音時間について、上述の時間オブジェクトの４つの属性がどの程度確定しているかを示す。但し、音の属性、時間構造の属性は全て同じ重みで定量化する。
【０１４８】
最小上界ｌｕｂの算出例について説明するならば、Ｐ＝Ｑの場合には、ＲN ＝ＲA ＝ＲT ＝1.０と算出される。逆にｌｕｂ（Ｐ，Ｑ）＝Ｔの場合には、ＲN ＝ＲA ＝ＲT ＝0.０と算出される。また、Ｐ⊆Ｑの場合、｜Ｐ｜$ ≧｜Ｑ｜$ （＄＝Ｎ，Ａ，Ｔ）なので、Ｒ$ （Ｐ，Ｑ）＝｜Ｑ｜$ ／｜Ｐ｜$ と算出される。
【０１４９】
また、図２０（Ｂ）の場合、先頭の音が時間の基準になることで、先頭の音については時間構造の属性として１つしか持たないことを考慮して、
ＲN ＝（１＋１）／（１＋１＋１）＝２／３
ＲA ＝（２＋２）／（２＋２＋２）＝２／３
ＲT ＝（１＋４＊１）／（１＋４＊１＋４＊１）＝５／９
と算出される。
【０１５０】
また、図２０（Ｃ）の場合、ｌｕｂで算出したＣ４Ｆ４Ｇ４が発音時刻に関する情報を失っており、さらに、先頭の音が時間の基準になることで、先頭の音については時間構造の属性として１つしかなく、これに加えて、ｌｕｂで算出したＣ４Ｆ４Ｇ４が時間差分の情報を失っていることを考慮して、
ＲN ＝ (1+1+1+1)/(1+1+1+1)=1.0
ＲA ＝ (1+1+1+2*1)/(2*1+2*1+2*1+2*1)=5/8
ＲT ＝（3*1+3*1+3*1+1)/(1+4*1+4*1+4*1)=10/13
と算出される。
【０１５１】
また、図２０（Ｄ）の場合、先頭の音が時間の基準になることで、先頭の音については時間構造の属性として１つしか持たないことを考慮して、
ＲN ＝１／（１＋１）＝１／２
ＲA ＝２／（２＋２）＝１／２
ＲT ＝１／（１＋４＊１）＝１／５
と算出される。
【０１５２】
このようにして、ステップ２６で、判定対象となる楽曲部分Ｐと判定先となる楽曲部分Ｑとの間の類似度の尺度ＲN,ＲA,ＲT を算出すると、続いて、ステップ２７で、その算出した類似度の尺度ＲN,ＲA,ＲT を使い、その２つの楽曲部分Ｐ，Ｑの間に、例えば、
ＲN （Ｐ，Ｑ）＞ＴN ∧ＲT （Ｐ，Ｑ）＞ＴT ∧ＲA （Ｐ，Ｑ）＞ＴA
ＴN,ＴA,ＴT ：ステップ２０で設定した閾値
という条件が成立する場合には、その２つの楽曲部分Ｐ，Ｑが類似するという判定を行うことで、その２つの楽曲部分Ｐ，Ｑが類似するのか否かを判定する。
【０１５３】
このように、楽曲の持つ異なる音楽的側面に対しての複数の閾値を使って、２つの楽曲部分Ｐ，Ｑが類似するのか否かを判定することで、音楽家の意図に沿った形で、２つの楽曲部分Ｐ，Ｑが類似するのか否かを判定するのである。
【０１５４】
続いて、ステップ２８で、判定対象となる楽曲部分Ｐと判定先となる楽曲部分Ｑとが類似するという判定が得られたのか否かを判断して、類似するという判定が得られた場合には、ステップ２９に進んで、その類似すると判定した楽曲部分の楽曲位置情報を記録してから、次の判定先となる楽曲部分を処理すべくステップ２３に戻り、一方、類似しないという判定が得られた場合には、ステップ２９の処理を行うことなく、次の判定先となる楽曲部分を処理すべくステップ２３に戻る。
【０１５５】
そして、ステップ２３〜ステップ２９の処理を繰り返していくことで、ステップ２３で、判定の相手先となる全ての楽曲部分を処理したことを判断すると、次の判定対象となる楽曲部分を処理すべくステップ２１に戻る。
【０１５６】
そして、ステップ２１〜ステップ２９の処理を繰り返していくこで、ステップ２１で、判定対象となる全ての楽曲部分を処理したことを判断すると、ステップ３０に進んで、ステップ２９で記録した類似する楽曲部分の楽曲位置情報を通知しつつ、楽曲要約部１５を起動して、処理を終了する。
【０１５７】
このようにして、オブジェクト項間類似度判定部１４は、オブジェクト項変換部１２により課題曲を表現するオブジェクト項が生成されると、オブジェクト項間の包摂関係を用いて課題曲の各楽曲部分同士の類似度を判定して、類似する楽曲部分の楽曲位置情報を通知しつつ、楽曲要約部１５を起動するように処理するのである。
【０１５８】
ここで、図１２の処理フローでは、類似度判定の対象となる楽曲部分のサイズＳが１つであることを想定したが、このサイズＳとして複数の値が設定される場合には、各サイズＳについて楽曲部分を切り出して類似度判定を行うことになる。また、図１２の処理フローでは説明しなかったが、同一の楽曲部分の組み合わせについては何度も類似度判定を行わないように制御する処理を行うことになる。
【０１５９】
〔２−４〕楽曲要約部１５の処理
楽曲要約部１５は、オブジェクト項間類似度判定部１４から起動されると、図１３及び図１４の処理フローに示すように、先ず最初に、ステップ４０で、オブジェクト項間類似度判定部１４から通知される類似する楽曲部分の楽曲位置情報に従って、課題曲の楽譜情報を表示する画面に、どの楽曲部分とどの楽曲部分とが類似するのかということを明示出力する。
【０１６０】
例えば、色付きの短冊を使って類似楽曲部分を明示出力することなどにより、課題曲のどの楽曲部分とどの楽曲部分とが類似するのかということを明示出力するのである。
【０１６１】
続いて、ステップ４１で、ユーザ操作が行われるのを待って、ユーザ操作が行われたことを検出すると、ステップ４２に進んで、ユーザから類似する楽曲部分の試聴要求が発行されたのか否かを判断して、この試聴要求が発行されたことを判断するときには、ステップ４３に進んで、試聴要求のある楽曲部分を楽曲出力装置４に出力してから、ステップ４１に戻る。
【０１６２】
一方、ステップ４２で、ユーザから類似する楽曲部分の試聴要求が発行されたのではないことを判断するときには、ステップ４４に進んで、ユーザから類似する楽曲部分の削除要求が発行されたのか否かを判断して、この削除要求が発行されたことを判断するときには、ステップ４５に進んで、削除要求のある楽曲部分を削除してから、ステップ４１に戻る。
【０１６３】
一方、ステップ４４で、ユーザから類似する楽曲部分の削除要求が発行されたのではないことを判断するときには、ステップ４６で進んで、ユーザから削除した楽曲部分の復活要求が発行されたのか否かを判断して、この復活要求が発行されたことを判断するときには、ステップ４７に進んで、復活要求のある削除した楽曲部分を復活させてから、ステップ４１に戻る。
【０１６４】
一方、ステップ４６で、ユーザから削除した楽曲部分の復活要求が発行されたのではないことを判断するときには、ステップ４８に進んで、ユーザから課題曲の要約要求が発行されたのか否かを判断して、課題曲の要約要求が発行されたことを判断するときには、ステップ４９に進んで、削除した楽曲部分を取り除くことで要約した課題曲を楽曲出力装置４に出力する。
【０１６５】
このとき、課題曲の楽譜情報を表示する画面に、どの楽曲部分が削除されているのかを明示出力するとともに、課題曲の要約率を出力することになる。
【０１６６】
この要約した課題曲の出力を受けて、ユーザは、その課題曲の要約でよい場合には、終了要求を発行し、その課題曲の要約でよくない場合には、やり直し要求を発行し、その課題曲の要約から要約処理を継続していく場合には、要約処理の継続要求を発行する。
【０１６７】
これから、ステップ４９で要約した課題曲を出力すると、続くステップ５０で、これに応答してユーザ操作が行われるのを待って、ユーザ操作が行われたことを検出すると、ステップ５１に進んで、ユーザから終了要求が発行されたのか否かを判断して、ユーザから終了要求が発行されたことを判断するときには、課題曲の要約が完成したことを判断して、処理を終了する。
【０１６８】
一方、ステップ５１で、ユーザから終了要求が発行されたのではないことを判断するときには、ステップ５２に進んで、ユーザからやり直し要求が発行されたのか否かを判断して、ユーザからやり直し要求が発行されたことを判断するときには、ステップ５３に進んで、課題曲を初期状態（削除した楽曲部分を全て復活させる）に戻してから、ステップ４１に戻る。
【０１６９】
一方、ステップ５２で、ユーザからやり直し要求が発行されたのではないことを判断するとき、すなわち、ユーザから継続要求が発行されたことを判断するときには、ステップ５３の処理を行うことなく、ステップ４１に戻る。
【０１７０】
そして、ステップ４８で、ユーザから課題曲の要約要求が発行されたのではないことを判断するときには、ステップ５４に進んで、ユーザから要求された処理を実行してから、ステップ４１に戻る。
【０１７１】
このようにして、楽曲全体の構成を反映した要約結果はユーザの嗜好や主観に依存することを考慮して、楽曲要約部１５は、オブジェクト項間類似度判定部１４により得られた類似度判定結果に基づいて、課題曲の要約のための削除対象として可能となる楽曲部分を特定し、その楽曲部分をディスプレイに明示出力してユーザと対話することで、最終的に削除する楽曲部分を決定することにより課題曲を要約するのである。
【０１７２】
以上説明したように、図１０のように構成される本発明の楽曲要約処理装置１では、音楽理論によって支えられる部分とユーザの嗜好や主観に依存する部分とを区別して、音楽理論によって支えられる部分については自動化が容易であるので自動化を行い、一方、ユーザの嗜好や主観に依存する部分は自動化が困難な面があるので、ユーザの意図を効率良く取り込むために、必要に応じてユーザとインタラクションを行うことで課題曲を要約するように処理することになる。
【０１７３】
図示実施形態例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施形態例では、類似すると判定した楽曲部分をユーザに明示してユーザとインタラクションを行うことで課題曲を要約するという構成を採ったが、規定のアルゴリズムに従って、類似すると判定した楽曲部分の内の一部を自動的に削除することで課題曲を要約するという構成を採ることも可能である。
【０１７４】
【発明の効果】
以上説明したように、本発明では、互いに類似する楽曲部分の一部を削除することにより課題曲を要約することで、あたかも傷の付いたレコード盤上での針飛びで生ずる速聴きのような形でもって楽曲全体を縮めることを実現することになるが、この実現にあたって、音楽理論に基づく楽曲分析を行い、音楽家の意図を表す楽曲部分について類似するのか否かを判定することで、その針飛びを楽曲の区切り個所において音楽的に正しく生ずるようにする。
【０１７５】
この構成に従って、本発明によれば、楽曲全体の雰囲気を反映したような形態を実現しつつ、あたかも傷の付いたレコード盤上での針飛びで生ずる速聴きのような形でもって楽曲全体を縮めることができるようになる。
【０１７６】
現実に我々が普段耳にする楽曲の多くは、キーフレーズを唯一に特定するのが困難である。よって、この部分がサビであると特定するのは難しく、またリスナーの嗜好によっても変化する。
【０１７７】
これから、本発明の実現する、全体構成をできるだけ残しつつ楽曲全体を縮めるような自然な形の要約は極めて有効であり、様々な有効利用が期待できる。
【図面の簡単な説明】
【図１】タイムスパン簡約木の説明図である。
【図２】タイムスパン簡約木の説明図である。
【図３】発音時刻を抽象化する場合の説明図である。
【図４】タイムスパン簡約木の説明図である。
【図５】ポリフォニーのタイムスパン簡約の説明図である。
【図６】本発明による楽曲要約方法の説明図である。
【図７】タイムスパン簡約木の説明図である。
【図８】楽曲に付与する時間構造の説明図である。
【図９】オブジェクト項の構文規則の説明図である。
【図１０】本発明を具備する楽曲要約処理装置の持つ機能構成の一実施形態例である。
【図１１】タイムスパン簡約分析部の実行する処理フローである。
【図１２】オブジェクト項間類似度判定部の実行する処理フローである。
【図１３】楽曲要約部の実行する処理フローである。
【図１４】楽曲要約部の実行する処理フローである。
【図１５】タイムスパン簡約分析部の実行する処理の説明図である。
【図１６】タイムスパン簡約木のオブジェクト項表現の説明図である。
【図１７】タイムスパン簡約分析部の実行する処理の説明図である。
【図１８】楽曲に付与する時間構造の説明図である。
【図１９】タイムスパン簡約木のオブジェクト項表現の説明図である。
【図２０】最小上界の算出例の説明図である。
【符号の説明】
１ 楽曲要約処理装置
２ 楽曲入力装置
３ 入出力装置
４ 楽曲出力装置
１０ 楽曲入力部
１１ タイムスパン簡約分析部
１２ オブジェクト項変換部
１３ 作業用メモリ域
１４ オブジェクト項間類似度判定部
１５ 楽曲要約部
【発明の属する技術分野】
本発明は、処理対象となる課題曲を要約する楽曲要約処理方法及びその装置と、その楽曲要約処理装置の実現に用いられる楽曲要約処理プログラム及びそのプログラムを記録した記録媒体とに関し、特に、楽曲全体の雰囲気を反映したような形態で楽曲全体を縮めることができるようにする楽曲要約処理方法及びその装置と、その楽曲要約処理装置の実現に用いられる楽曲要約処理プログラム及びそのプログラムを記録した記録媒体とに関する。
【０００２】
【従来の技術】
楽曲全体の雰囲気を反映したような形態で楽曲全体を縮めることができるようにする技術が構築されると、様々な有効利用が期待できる。
【０００３】
例えば、従来のオンラインＣＤショップ（ＯＣＳ）では、予めメール会員から各個人の嗜好や希望をアンケートで収集しておき、そのデータに基づいてＯＣＳ側で推薦曲や推薦ＣＤを選別して、各個人に宣伝を行っている。これは、毎週毎週、膨大な量の新曲や推薦曲の全曲を各個人に送るわけにはいかないからである。
【０００４】
このような従来のＯＣＳでは、２つの機会損失が発生している。それは、楽曲の一部抜粋だけではその楽曲の全体の雰囲気を伝え損ねているという損失と、会員が気に入るかも知れない新曲をＯＣＳ側で捨ててしまっているという損失である。
【０００５】
このような場合に、楽曲全体の雰囲気を反映したような形態で楽曲全体を縮めることができるようにする技術が構築されると、この２つの機会損失を最小に抑えられることになる。
【０００６】
また、例えば５人でカラオケボックスで２時間歌う場合を考える。カラオケボックスでは、最後の１０分頃になると、お店から「お客さん、あと１０分です」のインターホンがかかる。このような場合、「じゃあ、１人１曲ずつ歌って終わりにするか」という段取りになる場合が非常に多いが、そうなると２時間という時間制限を越えてしまう。
【０００７】
このような場合に、楽曲全体の雰囲気を反映したような形態で楽曲全体を縮めることができるようにする技術が構築されると、１人１曲を２分などに要約することが可能になるので、２時間という時間制限を守りつつ１人１曲ずつ全員が歌えるようになる。これは、店にとっても客にとってもメリットがあると考えられる。
【０００８】
また、ピアノレッスンにおいて、生徒が新曲に取り組む際、通常、教師はその生徒に新曲の大まかなイメージを与えるために、模範演奏を行なう。その模範演奏は、全曲を弾く場合もあるが、新曲の大まかなイメージを与えるために、むしろ要所だけをかいつまんで弾く方が効果的な場合もある。
【０００９】
このような場合に、楽曲全体の雰囲気を反映したような形態で楽曲全体を縮めることができるようにする技術が構築されると、より効率的に新曲の大まかなイメージを与えることが可能となる。
【００１０】
以上に説明した具体例からも分かるように、楽曲全体の雰囲気を反映したような形態で楽曲全体を縮めることができるようにする技術が構築されると、様々な有効利用が期待できる。
【００１１】
しかしながら、従来の音楽システムの主要タスクは作曲、編曲、演奏にある。これらに加えて、最近では、音楽検索の需要が高まり、目標とする旋律に類似した旋律をデータベースから探し出すタスク（音楽検索）の研究が盛んである。実際、音楽検索というテーマだけで国際会議が開催されるほど研究者が多い。カラオケなどで稼働しビジネスとして成立しているシステムもある。
【００１２】
いずれにしろ、従来の音楽システムの主要タスクは作曲、編曲、演奏と、最近需要の高まっている検索であり、楽曲の要約を取り扱った先行研究は殆どないというのが実情である。
【００１３】
本発明者が調べた限りでは、楽曲を与えると、それを元に要約を生成するシステムとしては、下記に示す非特許文献１で報告されているＬoganとＣhuが提案したものしかない。
【００１４】
このＬoganとＣhuが提案したシステムでは、楽曲中で最も目立って記憶に残る部分（キーフレーズと呼ぶ）とは最も繰り返されている部分であると仮定する。そして、その仮定に基づいて、オーディオ信号から楽曲の特徴を計算して、最も繰り返されている部分をキーフレーズとして抽出し、その抽出したキーフレーズをもって要約を行うようにしている。
【００１５】
しかし、キーフレーズは聴取者の嗜好や感性に大きく左右されるので、この仮定は常に正しいとは限らない。さらに、ＬoganとＣhuが提案したシステムでは、楽曲全体の構成や雰囲気を反映したような要約を生成することはできない。
【００１６】
一方、商業的な場面での要約はすべて人手に頼っており、その楽曲中の特徴的、印象的な部分（サビなど）の先頭から、あるいは楽曲の開始部分（一般にイントロと呼ばれる）から時間の許す限り再生することにより要約としている。
【００１７】
つまり、商業的な場面で行われている従来手法の要約は、楽曲全体を縮めるのではなく、その一部分を抜き出して来て、それをもって要約としている。もちろん、編曲家の手による作品としての要約も利用されているが、人手によるためコストは非常に高い。
【００１８】
【非特許文献１】
Logan,B.,and Chu,S.,Music Summarization using Key Phrases, In Proceedings of ICASSP 2000.
【非特許文献２】
平田，青柳．音楽理論ＧＴＴＭに基づく多声音楽の表現手法と基本演算．情報処理学会論文誌,Vol.43,No.2,pp.277-286(2002).
【非特許文献３】
Lerdahl,F.,and Jackendoff,R.,Generative Theory of Tonal Musi c,The MIT Press(1983).
【特許文献１】
特開２００２−２３６４８４
【００１９】
【発明が解決しようとする課題】
上述したように、楽曲の要約を取り扱った先行研究は殆どないというのが実情である。
【００２０】
非特許文献１で報告されているＬoganとＣhuが提案したシステムでは、最も繰り返されている部分をキーフレーズとして抽出し、その抽出したキーフレーズをもって要約を行うようにしているが、キーフレーズは聴取者の嗜好や感性に大きく左右されるので、このようにして作成された要約が常に適切なものとは限られないという問題がある。
【００２１】
さらに、ＬoganとＣhuが提案したシステムでは、楽曲全体の構成や雰囲気を反映したような要約を生成することはできないという問題がある。
【００２２】
しかも、ＬoganとＣhuが提案したシステムでは、バッチ方式（楽曲を与えると一括変換で要約を生成する方式）を用いており、ユーザとの対話は行わない。これから、キーフレーズをうまく検出するために、オフラインでパラメータの微調整を行うことが要求されることになる。
【００２３】
一方、商業的な場面で行われている要約は、楽曲の一部をそのまま抜き出してくるだけだったので、楽節や楽章の構成を反映した要約は生成できないという問題がある。
【００２４】
本発明はかかる事情に鑑みてなされたものであって、楽曲全体の雰囲気を反映したような形態で楽曲全体を縮めることができるようにする新たな楽曲要約処理技術の提供を目的とする。
【００２５】
【課題を解決するための手段】
本発明の楽曲要約処理装置は、楽曲全体の雰囲気を反映したような要約の生成を実現するために、（イ）処理対象となる課題曲に対して、音楽理論に基づく楽曲分析を行う分析手段と、（ロ）分析手段による楽曲分析の結果に基づいて、課題曲をそれを表現するオブジェクト項に変換する変換手段と、（ハ）変換手段により変換されたオブジェクト項間の包摂関係を用いて、課題曲の各楽曲部分同士の類似度を判定する判定手段と、（ニ）判定手段による類似度判定結果に基づいて、課題曲の要約のための削除対象として可能となる楽曲部分を特定する特定手段と、（ホ）特定手段による特定結果に基づいて、課題曲を要約する要約手段とを備えるように構成する。
【００２６】
以上の各処理手段はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどの記録媒体に記録して提供したり、ネットワークを介して提供することができる。
【００２７】
次に、このように構成される本発明の楽曲要約処理装置の処理について説明する。
【００２８】
（イ）分析手段の処理
分析手段は、処理対象となる課題曲が与えられると、楽曲全体の雰囲気を反映したような要約の生成を実現するために、音楽理論に基づく楽曲分析を行う。
【００２９】
例えば、ＧＴＴＭ（generative theory of total music）のタイムスパン簡約（ある楽曲をタイムスパン簡約するとは、楽曲中の重要でない音を削除することを意味する）を用いて、２つの音の内のどちらの方が重要であるのかを決定しながら、課題曲を構成する音のグルーピング構造を決定することで、課題曲の楽曲分析を行うのである。
【００３０】
図１左側に、簡単な旋律とそのタイムスパン簡約木を示す。タイムスパン簡約木は二進木であり、重要な方の枝を primary枝、そうでない方の枝を secondary枝と呼ぶ。タイムスパン簡約木を用いたグルーピングは楽曲全体が１つのグループになるまで続けられ、タイムスパン簡約木の最下端の枝には五線譜上の各音（和音や単音）が現れる。 primary枝及び secondary枝で支配される時間幅は、headと呼ばれる１つの音／和音で代表される（ここではＣ４）。
【００３１】
本発明者は、ＧＴＴＭの記述に基づく新たな楽曲表現法を提案したが（非特許文献２，特許文献１参照）、この提案した楽曲表現法では、タイムスパン簡約木と、ポリフォニー（単旋律に解釈されるホモフォニーが組み合わされたもので、ホモフォニーだけのものも含む）に含まれる各音の時間情報とを表現することができる。
【００３２】
各音の時間情報を表現する必要があるのは、図２に示すような場合に、どちらも primary枝及び secondary枝で記述される音が同じとなることで、時間情報を導入しないと両者を区別できなくなるからである。この時間情報には、各音の発音時刻や音価だけでなく、注目している音とその周囲の音との時間関係を含む。なお、図１では時間情報については図示していない。
【００３３】
この提案した楽曲表現法の時間構造が依拠する直感は、発音時刻の時間差を抽象化すると発音順序になる、というものである。すなわち、図３に示すように、発音時刻の時間差を抽象化すると発音順序になることに着目して、時間情報を表現するようにしている。
【００３４】
図１右側の旋律はＣ４音のみからなり、同図左側の旋律より、タイムスパン簡約に関して抽象的と見なせる（左側の旋律は右側の旋律よりも具体的である）。この旋律の抽象・具体関係を包摂関係（半順序）の一種と見なし、説明の便宜上、集合の包含関係を表す“⊆”という記号で表現する。
【００３５】
ＬerdahlとＪackendoff(非特許文献３参照）によると、headの値には４通りの設定法がある。図１でのhead値の設定法は“ordinary”であり、図４（アルベルティ・バス）でのhead値の設定法は“fusion”である。head値の設定法も分析された旋律の解釈に依存する。
【００３６】
ここで、ＧＴＴＭが扱う旋律は理論的な理由でホモフォニーに限定されているが、本発明では、図５に示すように、ホモフォニーでタイムスパン簡約を行って代表音を決定し、それらの代表音をタイムスパン簡約することで、時間的な重畳を許す２つのポリフォニーの間にタイムスパン簡約としての順序を付与するようにしている。
【００３７】
（ロ）変換手段の処理
ＧＴＴＭ分析を行って、タイムスパン簡約木の形、headの値、時間構造を決定して、その分析結果を、非特許文献２や特許文献１に記載するＧＴＴＭの記述に基づく楽曲表現法によって表現すると、タイムスパン簡約の抽象・具体関係は、演繹オブジェクト指向データベース（ＤＯＯＤ）におけるオブジェクト項の包摂関係として自動的に表現される。
【００３８】
これから、変換手段は、分析手段による楽曲分析の結果に基づいて、課題曲をそれを表現するオブジェクト項に変換する。
【００３９】
ここで、ＤＯＯＤは、対象をオブジェクトとその属性の集合からなるオブジェクト項として表現するものであり、属性の欠落や属性の型宣言を記述するために一階述語論理を拡張した手法であって、演繹規則によって項間の包摂関係を定義することができ、この包摂関係によって、曖昧な項とそうでない項とを形式的に結び付けることが可能となる。
【００４０】
このオブジェクト項への変換によって、例えば、図１に示す２つの旋律を、非特許文献２や特許文献１に記載するＧＴＴＭの記述に基づく楽曲表現法によってあるデータ構造として表現すると、この２つの旋律間に包摂関係が成り立つことが自動的に判定できる。
【００４１】
このとき、もし旋律に異なる分析結果を与えると、タイムスパン簡約木の形、headの値、時間構造も変わり、異なる包摂関係が成立する。
【００４２】
このことから分かるように、変換手段により変換されたオブジェクト項は、単なる記号の順序関係から生成されるものではなくて、楽曲分析の結果に基づいて生成されるものであって、楽曲の旋律の音楽的構造を反映したものとなっている。
【００４３】
（ハ）判定手段の処理
判定手段は、変換手段により変換されたオブジェクト項間の包摂関係を用いて、課題曲の各楽曲部分同士の類似度を判定する。
【００４４】
例えば、オブジェクト項間の共通部分の最小上界（least upper bound, lub）を求めて、その最小上界により失われる情報の大きさを評価することで、課題曲の各楽曲部分同士の類似度を判定する。
【００４５】
このとき、楽曲の持つ異なる音楽的側面に対しての複数の閾値を使って、最小上界により失われる情報の大きさを多面的に評価することで、課題曲の各楽曲部分同士の類似度を判定することがある。
【００４６】
ここで、最小上界ｌｕｂ（ｘ，ｙ）とは、オブジェクト項ｘ，ｙが与えられたときに“ｍｉｎ（｛ｚ｜ｘ⊆ｚ∧ｙ⊆ｚ｝）”と定義され、全てのｘ，ｙについて、“ｘ⊆ｌｕｂ（ｘ，ｙ）”及び“ｙ⊆ｌｕｂ（ｘ，ｙ）”が成り立つ。
【００４７】
すなわち、最小上界ｌｕｂ（ｘ，ｙ）とは、ｘとｙよりも共通に大きい要素の中で最も小さいものとして定義されるものであり、直感的には、２つのポリフォニーの最大共通部分を計算する。
【００４８】
判定手段は、この最小上界ｌｕｂを使って、２つの旋律に共通部分が多ければ多いほど、お互いにより類似していると判定する。
【００４９】
音楽理論は、長年に渡る人間の音楽認知の観察、定式化、検証の上に成り立っている。本発明では、定評のある音楽理論ＧＴＴＭと理論的な取り扱いが容易な知識表現手法ＤＯＯＤとを用いることで、十分な情報量を持った内部表現（オブジェクト項）を実現しつつ、２つのオブジェクト項の共通部分をとる最も基本的な演算である最小上界を適用して、２つのオブジェクト項（つまり楽曲）の類似度を判定するようにしている。
【００５０】
このように、オーディオ信号ではなく楽譜相当の情報（例えば、標準ＭＩＤＩファイル（ＳＭＦ）形式など）を入力可能として、十分な情報量を持つ内部表現を利用した類似度判定を行っており、高次の音楽的な情報を精度よく得ることができるようになる。
【００５１】
これに対して、従来の楽曲類似度判定アルゴリズムで用いられている内部表現では、高々音符（あるいは音符の集合）の間に同時、前、後という単純で平板な基本関係しか与えていないので、音楽理論が教えるような多声音楽の階層的な解釈や構造を表現できない。よって、楽曲の類似度を判定する際も、従来法では楽曲が持つ階層的な解釈や構造を考慮できないという問題がある。
【００５２】
（ニ）特定手段の処理
特定手段は、判定手段による類似度判定結果に基づいて、互いに類似する楽曲部分を特定することで、課題曲の要約のための削除対象として可能となる楽曲部分を特定する。
【００５３】
本発明の楽曲要約処理装置では、傷の付いたレコード盤上での針飛びで生ずる速聴きのような方法で楽曲を要約することを実現する。ただし、その針飛びは任意の場所で生ずるのではなくて、楽曲の区切り個所において音楽的に正しく生ずるようにする。
【００５４】
このような針飛びを実現するために、本発明の楽曲要約処理装置では、図６に示すように、互いに類似する楽曲部分の一部を削除することで課題曲を要約するという構成を採る。
【００５５】
そこで、特定手段は、判定手段による類似度判定結果に基づいて、互いに類似する楽曲部分を特定することで、課題曲の要約のための削除対象として可能となる楽曲部分を特定するのである。
【００５６】
（ホ）要約手段の処理
要約手段は、例えば、課題曲のどの楽曲部分とどの楽曲部分とが類似するのかをディスプレイに明示出力して、対話処理に従って、課題曲の要約のために削除すべき楽曲部分を決定することで課題曲を要約する。
【００５７】
楽曲全体の構成を反映した要約結果は、要約を行うユーザの嗜好や主観に依存する。
【００５８】
これから、本発明の楽曲要約処理装置では、音楽理論によって支えられる部分とユーザの嗜好や主観に依存する部分とを区別して、音楽理論によって支えられる部分については自動化が容易であるので自動化を行い、一方、ユーザの嗜好や主観に依存する部分は自動化が困難な面があるので、ユーザの意図を効率良く取り込むために、必要に応じてユーザとインタラクションを行うことで課題曲を要約するという構成を採るものである。
【００５９】
以上に説明した分析手段／変換手段／判定手段／特定手段／要約手段の処理に従って、本発明の楽曲要約処理装置によれば、楽曲全体の雰囲気を反映したような形態を実現しつつ、あたかも傷の付いたレコード盤上での針飛びで生ずる速聴きのような形でもって楽曲全体を縮めることができるようになる。
【００６０】
【発明の実施の形態】
以下、実施の形態に従って本発明を詳細に説明する。
【００６１】
本実施形態例の説明に入る前に、本実施形態例の実現のために用いられる技術について説明する。
【００６２】
〔１〕実施形態例の実現のために用いられる技術の説明
〔１−１〕演繹オブジェクト指向データベースについての一般的な説明
演繹オブジェクト指向データベース（ＤＯＯＤ：Deductive Object-Oriented Database) は、知識表現の一手法である。演繹オブジェクト指向データベースにおけるオブジェクト項の一般形は、
種類（属性１の名前＝属性１の値，属性２の名前＝属性２の値，…）
のようになっている。
【００６３】
例えば、リンゴについて、赤いリンゴ、小さいリンゴという２つの概念（実体）を表現する場合を考える。ともに種類はリンゴである。「リンゴ」の場合、特にそれ以上の特徴はないので、
リンゴ
と記述する。
【００６４】
「赤いリンゴ」は、単なるリンゴに色が赤いという特徴が付加されたものである。そこで、
リンゴ（色＝赤）
と記述する。また、「小さいリンゴ」は、サイズが小さいという特徴が付加されたと考えられるので、
リンゴ（サイズ＝小さい）
と記述する。以上から明らかなように、「大きくて青いリンゴ」の表現は、
リンゴ（サイズ＝大きい、色＝青）
となる。
【００６５】
実際のオブジェクト項では、属性値にオブジェクト項を書くことで、より複雑な概念や実体を表現することができる。
【００６６】
なお、素性構造も本質的には演繹オブジェクト指向データベースと同じ概念であり、本明細書の全体において統一的な説明のため演繹オブジェクト指向データベースの用語を用いて説明するが、本明細書でいう演繹オブジェクト指向データベースには、素性構造の技術概念が含まれる。本明細書において、「演繹オブジェクト指向データベース」は「素性構造」と、「オブジェクト項」は「素性項」と読み替えることができる。
【００６７】
以上のように、オブジェクト項は o( …, l = v,…) と記述される。ｏは基本オブジェクト項、ｌ＝ｖは属性、ｌは属性ラベル、ｖは属性値を表す。
【００６８】
属性には固有と非固有の２種類がある。固有属性とは、オブジェクトの識別に使用される属性であり、非固有属性とは、そうでない属性である。記法上は、
o(…,l=v, …)/( …,m=w, …)
のように、"/" の左側に固有属性、右側に非固有属性を書く。例えば、「o(a=1)/(b=2)」と「o(a=1)/(c=3)」は、同一のオブジェクトである。
【００６９】
〔１−２〕一般的な包摂関係の説明
本システムでは、音楽的な対象間に成り立つ順序関係を、オブジェクト項間の包摂関係に対応付けることにより、包摂関係を用いて対象間の相対的類似度を計算する。また、本システムにおいて、包摂関係は、オブジェクト項間の共通部分の抽出や、オブジェクト項の抽象化、具体化などの演算などに用いられる。以下では、この包摂関係についての説明を行う。なお、説明の便宜上、包摂関係を集合の包含関係と同様な記号⊆で表すことにする。
【００７０】
包摂関係とは、「情報量が多いオブジェクト⊆情報量が少ないオブジェクト」ということを意味している。「具体的なオブジェクト⊆抽象的なオブジェクト」、または「特殊⊆一般」と言い換えてもよい。
【００７１】
簡単な例で説明する。「リンゴ」と「赤いリンゴ」を表現するオブジェクト項間の包摂関係を考える。「赤いリンゴ」のほうが「リンゴ」より「赤い」という特徴がある分だけ具体的で情報が多いとみなせる。このようなとき、
リンゴ（色＝赤）⊆リンゴ
と表記する。
【００７２】
一般に、ｓ⊆ｔとなるためには、次の２つの条件のいずれか一方または両方が成立することが必要である。
【００７３】
条件１．ｓ＝ｋ（…,l=v，…）、かつｔ＝ｋ（…）
〔例： リンゴ（色＝赤）⊆リンゴ〕
ｓの方にｌ＝ｖという属性が余計に付加されている。他の属性に関しては、ｓとｔは同じ属性名と属性値を持っている。
【００７４】
条件２．ｓ＝ｋ（…,l=v，…）、かつｔ＝ｋ（…,l=w，…）、かつｖ⊆ｗ
〔例：人間（住所＝東京（区＝新宿））⊆人間（住所＝東京）〕
ｓもｔも同じ名前の属性ｌを持っているが、その属性値の間にｖ⊆ｗという関係が成り立っている。
【００７５】
〔１−３〕包摂関係の定義
オブジェクト項間の包摂関係は、以下に説明する演繹規則によって定義される。今、
ｏ1 ＝ｐ（…，ｌm ＝ｖ，…），ｏ2 ＝ｑ（…，ｌn ＝ｗ，…）とすると、
ｏ1 ，ｏ2 間の包摂関係は、
ｏ1 ⊆ｏ2 ←ｐ⊆ｑ∧∀ｎ∃ｌm （ｌm ＝ｌn ∧ｖ⊆ｗ）
のように定義される。つまり、ｏ1 の基本項（ｐ）とｏ2 の全ての属性（ｌn ）について、それらが全て具体的であるならば、ｏ1 の方が具体的あるいはｏ2 の方が抽象的であるという意味である。
【００７６】
さらに、ｏ1 ，ｏ2 がオブジェクト項を要素に持つ集合の場合、ｏ1 ，ｏ2 間の包摂関係として様々な定義が考えられる。以下に、代表的な２つを演繹規則として記述する。
【００７７】
ｏ1 ⊆H ｏ2 ←∀ｓi ∈ｏ1 ∃ｔj ∈ｏ2 ｓi ⊆ｔj
ｏ1 ⊆S ｏ2 ←∀ｔj ∈ｏ2 ∃ｓi ∈ｏ1 ｓi ⊆ｔj
ここで、「⊆H 」は、いわゆる集合のＨｏａｒｅ順序に、「⊆S 」は、Ｓｍｙｔｈ順序に等しい。例えば、
｛ｂ，ｄ｝⊆H ｛ａ，ｂ，ｃ，ｄ｝
｛ａ，ｂ，ｃ，ｄ｝⊆S ｛ｂ，ｄ｝
のようになる。Ｈｏａｒｅ順序は、集合要素間に選言の意味がある場合に用いられ、Ｓｍｙｔｈ順序は、連言の意味がある場合に用いられる。
【００７８】
〔１−４〕最小上界および最大下界の定義
オブジェクト項ｘ，ｙが与えられたとき、ｘとｙの最小上界 (least upper bound, lub) とは、
min(｛ｚ｜ｘ⊆ｚ∧ｙ⊆ｚ｝) であり、「lub(x,y)」と書く。
【００７９】
ｌｕｂの直観的な意味は、ある二つのオブジェクトに共通で抽象的なオブジェクトのうち、最も具体的なものであり、積集合を計算するイメージである。すなわち、ｘとｙよりも共通に大きい要素の中で最も小さいものである。いわば、積集合あるいは最小公倍数のようなものと考えてよい。
【００８０】
最大下界 (greatest lower bound, glb)についても同様に定義できる。オブジェクト項ｘ，ｙが与えられたとき、ｘとｙの最大下界とは、
max(｛ｚ｜ｚ⊆ｘ∧ｚ⊆ｙ｝）であり、「glb(x,y)」と書く。
すなわち、ｘとｙよりも共通に小さい要素の中で最も大きいものである。いわば、和集合あるいは最大公約数のようなものと考えてよい。
【００８１】
演繹オブジェクト指向データベースでは、ｌｕｂをｊｏｉｎ、ｇｌｂをｍｅｅｔとも呼ぶ。上で定義したオブジェクト項の領域は⊆に関して完備束を構成する。ｌｕｂが以下で説明する本システムを構成するときの基本演算子となる。
【００８２】
〔１−５〕一つの音の表現
本表現法では、音楽的な対象のうち、単なる１音、Ｃ、Ｃ５を演繹オブジェクト指向データベースを用いて以下のような項として表現する。
note(pitch=C,octave=5)⊆note(pitch=C) ⊆note
のような包摂関係が自動的に成立する。
【００８３】
〔１−６〕和音の表現
本表現法では、音楽的な対象のうち、和音を集合として表現する。そして、集合もオブジェクト項の一種と定義する。
【００８４】
例えば、和音は以下のような項（集合項）として表現される。
【００８５】
〔１−７〕和音の列の表現
Ｎ個の和音からなる和音の列の表現には、以下の方法ａ，ｂの２通りが考えられる。ここでは、読み易さのために、各和音をｃｈｏｒｄ1 ，ｃｈｏｒｄ2 のように表記する。
【００８６】
〔１−８〕多声旋律の表現
旋律や和音を構成する複数の音が楽曲の一部あるいは全体を構成する。ここでは、そのような楽曲の一部あるいは全体を多声旋律と呼ぶ。
【００８７】
本システムでは、演繹オブジェクト指向データベース（ＤＯＯＤ）に基づいて多声旋律を表現するためのオブジェクト項を導入する。オブジェクト項の抽象化、具体化が、多声旋律の簡単化、複雑化にうまく対応するようにオブジェクト項を設計しなければならない。
【００８８】
〔１−９〕グルーピング構造の表現
楽曲のグルーピング構造を表現するために、ＧＴＴＭのタイムスパン簡約木（Time-Span Reduction Tree）を利用する。図７にグルーピング構造の例を示す。タイムスパン簡約木は、ボトムアップに楽曲構造的に重要な音 (和音) と、隣接する重要でない音 (和音) とをまとめて (グルーピングして) 行く様子を表現している。
【００８９】
ここでは簡単化のためタイムスパン簡約木は二進木とし、重要な音を primary、そうでない音を secondaryと呼ぶ。グルーピングされた primaryと secondaryは、ある一つの音 (和音) で代表され、それをheadと呼ぶ。primary/secondary とheadの関係には、primary, fusion, transformational の３通りがある。
【００９０】
タイムスパン簡約木の末端のノード (葉) は、ある時刻に生起した音 (和音) を表し、primary/secondary を持たない。タイムスパン簡約木では primaryの生起時刻が１段上のグルーピング構造の生起時刻となる。あるタイムスパン簡約木から primaryや secondaryの枝を削除すると、より簡単なタイムスパン簡約木が得られる。
【００９１】
〔１−１０〕時間構造の表現
まず、楽曲における時間構造の抽象化、具体化の関係について考察する。通常、定量的な記述を抽象化すると定性的な記述が得られる。多声旋律中に現われる各音の生起時刻は定量的に決められるが、これを抽象化した定性的な記述とは「順序」であると考えられる。これは、厳密な時刻が分からなくても、先か後かの順番だけ記述されているという状況である。
【００９２】
さらに順序は、縮退によって条件の緩い抽象的で簡単な順序になる。例えば、「イベントａが先でイベントｂが後」という順序を縮退すると、「イベントａはイベントｂより先あるいは同時」という順序が得られる。
【００９３】
以上の考察から、時間構造のモデルは、時刻に関する定量的な情報と順序に関する情報とを分離して記述できなければならないことが分かる。
【００９４】
本システムで提案する時間構造の例を図８に示す。図中 p, q, r, s はイベントである。まずイベントｐの生起時刻を基準と仮定する。次にイベントｓに着目すると、ｓはｐと＋ωの間に生起し (順序に関する情報) 、ｐから３拍半の時刻に生起する (時刻に関する定量的な情報) 。同様にｑはｐとｓの間に生起し、ｐから１拍目、ｒはｑとｓの間に生起し、ｓから半拍目の場所に位置している。さらに、ｒの時刻が縮退する先は楽曲的により重要な拍であり (この場合はｓ) 、それが「→」で示されている。
【００９５】
〔１−１１〕各オブジェクトの属性と属性値
本システムで実際に用いるオブジェクト項の構文規則を図９に示す。
【００９６】
この構文において、objclass（name1:objclass1,…）のobjclassはオブジェクトクラス名、name1 は固有属性名、objclass1 は属性値のオブジェクトクラス名あるいはデータ型という意味である。オブジェクトを構成する際に必須の属性と必須でない属性があり、必須でない属性名の左肩には＆を付けた。
【００９７】
小文字で始まる語はオブジェクト名を表し、大文字で始まる語はそれ以外のデータやデータ型を表す。Integer は整数の集合を表し、Ｃ..Ｂはドからシまでの７の音名からなる集合を表し、After , Beforeは予約語であり、＋ωは正の無限大の時刻、−ωは負の無限大の時刻の意味である。ｘ｜ｙは、ｘまたはｙという意味である。｛ｘ｝はｘからなる集合を表す。
【００９８】
オブジェクト項 chordのnotes 属性は和音を構成する個々の音を表し、duration属性は和音が鳴っている時間的長さを表す。notes 属性の値が singleton集合の時、それは単音と等価である。noteオブジェクトの noteNumber 属性では、音高がＭＩＤＩノートナンバによって表現されている。
【００９９】
この eventオブジェクトは、時間的に重複するグルーピング構造も記述できるという点において、ＧＴＴＭのタイムスパン簡約木の拡張になっている。
【０１００】
〔１−１２〕event オブジェクトに関する包摂関係
event オブジェクトは、上述したグルーピング構造と時間構造のモデルを実現している。つまり、モデルにおける抽象化、具体化の操作がオブジェクト項の包摂関係に対応付けられている。
【０１０１】
グルーピング構造に関する抽象化は、楽曲構造上、重要でない音を削除することであり、これはprimary 属性や secondary属性を削除することに対応する。
【０１０２】
時間構造に関する抽象化は２通りある。一つは定量的な時刻の情報を削除することであり、これはdifference属性を削除することに対応する。もう一つは、拍節構造的により重要な隣接する拍に時刻が縮退することであり、このために以下のような新しい包摂関係を導入する。
【０１０３】
ある時刻を表現するオブジェクト項 t (t ⊆ temp)があるとき、t.reference によって指定される拍の方が拍節構造的により重要な拍である。したがって、ｔがt.(t.reference) に縮退すると、時間構造はより抽象的 (簡略) になることが分かる。つまり、t ⊆ t.(t.reference)である。ここで、t.reference の指定は、グルーピング構造と整合しなくてはならないことに注意されたい。
【０１０４】
図８の例では、時刻 tr は、
temp(after=tq, before=ts, reference=Before, difference=8分音符) というオブジェクト項で記述できるので、 tr ⊆ ts となる。
【０１０５】
〔２〕実施形態例の説明
次に、本発明の実施形態例について詳細に説明する。
【０１０６】
図１０に、本発明を具備する楽曲要約処理装置１の持つ機能構成の一実施形態例を図示する。
【０１０７】
この図に示すように、本発明の楽曲要約処理装置１は、処理対象となる課題曲を要約して出力する処理を行うものであって、楽曲入力装置２と入出力装置３と楽曲出力装置４とに接続されて、楽曲入力部１０と、タイムスパン簡約分析部１１と、オブジェクト項変換部１２と、作業用メモリ域１３と、オブジェクト項間類似度判定部１４と、楽曲要約部１５とを備える。
【０１０８】
楽曲入力装置２は、処理対象となる課題曲を入力する装置である。入力する方法としては、楽譜の形式で入力する方法、楽曲のエディタから入力する方法、ＭＩＤＩデータとして入力する方法、音声入力により入力する方法など種々の方法があり、いずれの入力方法を用いてもよい。入出力装置３は、マウスやディスプレイを有してユーザとの間の対話手段として機能する。楽曲出力装置４は、要約結果の楽曲を出力する装置であり、スピーカによる出力、楽譜の形式による出力、ＭＩＤＩデータによる出力など出力方法は問わない。
【０１０９】
楽曲入力部１０は、楽曲入力装置２から入力されてくる楽曲を受け取ることで、処理対象となる課題曲を入力する。
【０１１０】
タイムスパン簡約分析部１１は、ＧＴＴＭのタイムスパン簡約を用いて、入力された課題曲に対して音楽理論に基づく楽曲分析を行う。
【０１１１】
オブジェクト項変換部１２は、タイムスパン簡約分析部１１により生成されたタイムスパン簡約木に従って、課題曲を演繹オブジェクト指向データベースのオブジェクト項に変換することで、課題曲をそれを表現するオブジェクト項に変換して、それを作業用メモリ域（内部，外部）１３に保存する。
【０１１２】
オブジェクト項間類似度判定部１４は、作業用メモリ域１３に保存されているオブジェクト項間の包摂関係を用いて、課題曲の各楽曲部分同士の類似度を判定する。
【０１１３】
楽曲要約部１５は、オブジェクト項間類似度判定部１４により得られた類似度判定結果に基づいて、課題曲の要約のための削除対象として可能となる楽曲部分を特定し、その楽曲部分をディスプレイに明示出力してユーザと対話することで、最終的に削除する楽曲部分を決定することにより課題曲を要約する。
【０１１４】
図１１に、タイムスパン簡約分析部１１の実行する処理フローの一例を図示し、図１２に、オブジェクト項間類似度判定部１４の実行する処理フローの一例を図示し、図１３及び図１４に、楽曲要約部１５の実行する処理フローの一例を図示する。
【０１１５】
次に、これらの処理フローに従って、このように構成される本発明の楽曲要約処理装置１の実行する処理について説明する。
【０１１６】
〔２−１〕タイムスパン簡約分析部１１の処理
タイムスパン簡約分析部１１は、楽曲入力部１０の入力した課題曲の要約要求が発行されると、図１１の処理フローに示すように、先ず最初に、ステップ１０で、楽曲入力部１０の入力した課題曲を読み込み、続くステップ１１で、その読み込んだ課題曲の楽譜情報を入出力装置３のディスプレイに表示する。
【０１１７】
続いて、ステップ１２で、読み込んだ課題曲の全ての音を発音時刻順にソートして、デフォルトのタイムスパン簡約木（次に発音時刻の早い音が左secondary 枝となる形で生成する）を生成し、それを課題曲の楽譜情報に対応付けて入出力装置３のディスプレイに表示する。
【０１１８】
続いて、ステップ１３で、ユーザと対話することでディスプレイに表示しているタイムスパン簡約木を編集することにより、課題曲の旋律に合った形でタイムスパン簡約木を作成する。
【０１１９】
すなわち、図１５に示すように、ユーザと対話することでディスプレイに表示しているタイムスパン簡約木を編集し、これにより、音楽家の意図を表す多声旋律について、隣接した音同士をボトムアップにまとめ上げていくことで、図１６（Ａ）に示すようなタイムスパン簡約木を作成していくのである。
【０１２０】
このようにして作成したタイムスパン簡約木は、図９に示したオブジェクト項の構文規則に従って、ＤＯＯＤのオブジェクト項表現により内部表現されることになる。例えば、図１６（Ａ）の最初の３個の音符に着目すると、その部分のタイムスパン簡約木は図１６（Ｂ）に示すようになり、その多声旋律の内部構造は図１６（Ｃ）に示すように表される。これに対応するオブジェクト項表現は図１６（Ｄ）のようになる。ここでは、event を“ｅ”、headを“ｈｄ”、primary を“ｐ”、secondary を“ｓ”と簡略化して表現している。
【０１２１】
続いて、ステップ１４で、ユーザと対話することでディスプレイに表示しているタイムスパン簡約木に時間構造を付与する。
【０１２２】
すなわち、図１７に示すように、ユーザと対話することでディスプレイに表示しているタイムスパン簡約木に時間構造を付与するのである。
【０１２３】
図１８に、時間構造の分析例を示す。図１８の例では、音要素ｔ１を基準にして時間構造を分析している。図１８では、tempを“ｔ”、after を“ａｆｔ”、beforeを“ｂｆｒ”、reference を“ｒｅｆ”、differenceを“ｄｉｆｆ”と簡略化して表現している。例えば、図１８のｔ４オブジェクト項表現において、ｔ４は、ｔ１の後にあり、正の無限大の時刻（＋ω）より前にあることを示している。また、ｒｅｆ＝ａｆｔであるので、先行する拍のほうが後続の拍より重要な拍であることを示している。ｄｉｆｆ＝３は、ｔ１との時間差が３拍であることを示している。
【０１２４】
続いて、ステップ１５で、オブジェクト項変換部１２を起動して、処理を終了する。
【０１２５】
このようにして、タイムスパン簡約分析部１１は、楽曲入力部１０の入力した課題曲の要約要求が発行されると、課題曲についてのタイムスパン簡約木と時間構造ネットワークを作成することで課題曲の楽曲分析を実行するのである。
【０１２６】
〔２−２〕オブジェクト項変換部１２の処理
このタイムスパン簡約分析部１１による課題曲の楽曲分析を受けて、オブジェクト項変換部１２は、図９に示すオブジェクト項の構文規則に従って、オブジェクト項変換部１２により生成されたタイムスパン簡約木と時間構造ネットワークをオブジェクト項表現に翻訳して、それを作業用メモリ域１３に保存する。
【０１２７】
図１９に、多声旋律のオブジェクト項表現の例を示す。図１９（Ａ）に示す内部構造を持つ多声旋律をオブジェクト項表現すると、図１９（Ｂ）に示すようになる。なお、ここでは前述した予約語の簡略化記法に加えて、chord を“ｃｈｄ”、notes を“ｎｔｓ”、noteを“ｎｔ”、noteNumberを“ｎｎ”、durationを“ｄｕｒ”と簡略化して表現している。
【０１２８】
〔２−３〕オブジェクト項間類似度判定部１４の処理
オブジェクト項間類似度判定部１４は、オブジェクト項変換部１２によりオブジェクト項が生成されると、図１２の処理フローに示すように、先ず最初に、ステップ２０で、ユーザと対話することで類似度判定に用いるパラメータを設定する。具体的には、類似度判定の対象となる楽曲部分のサイズＳと、そのマージンＭと、３つの閾値ＴN,ＴA,ＴT とを設定する。
【０１２９】
これらのパラメータの設定については、課題曲の楽譜情報を表示する画面に、スライダーなどを表示してユーザと対話することで行う。
【０１３０】
この楽曲部分のサイズＳについては複数の値を設定することが可能であり、例えば、２，４，８，１６拍というように設定する。サイズＳが４拍で、マージンＭが１０％の場合、類似度判定の対象となる楽曲部分のサイズは３.6拍から４.4拍の間に限られることになる。
【０１３１】
続いて、ステップ２１で、判定対象となる全ての楽曲部分を処理したのか否かを判断して、処理していないことを判断するときには、ステップ２２に進んで、判定対象となる未処理の楽曲部分（設定されたサイズを持つ）を選択する。
【０１３２】
すなわち、課題曲の中から判定対象となる未処理の楽曲部分を選択するのである。このとき、任意の楽曲部分を選択できる訳ではなくて、タイムスパン簡約木の木構造に従って選択可能となる楽曲部分が規定されることになるので、その条件の許す楽曲部分を選択することになる。
【０１３３】
続いて、ステップ２３で、類似度判定の相手先となる全ての楽曲部分を処理したのか否かを判断して、処理していないことを判断するときには、ステップ２４に進んで、判定の相手先となる未処理の楽曲部分（設定されたサイズを持つ）を選択する。
【０１３４】
すなわち、課題曲の中から判定先となる未処理の楽曲部分を選択するのである。このとき、任意の楽曲部分を選択できる訳ではなくて、タイムスパン簡約木の木構造に従って選択可能となる楽曲部分が規定されることになるので、その条件の許す楽曲部分を選択することになる。
【０１３５】
続いて、ステップ２５で、判定対象となる楽曲部分のオブジェクト項と、判定先となる楽曲部分のオブジェクト項との間の最小上界ｌｕｂを求める。
【０１３６】
例えば、図２０（Ａ）〜（Ｅ）に示すように、２つのオブジェクト項間の最小上界ｌｕｂを求めるのである。
【０１３７】
ここで、図２０（Ａ）に示す例は、Ｃ４Ｇ４とＣ４という単純な２つの旋律の最小上界ｌｕｂの計算の例である。これら２つの旋律のタイムスパン簡約木は示してあるが、時間構造は省略した。ここでは、「旋律Ｃ４Ｇ４⊆旋律Ｃ４」という包摂関係が成立しており、最小上界ｌｕｂの結果は旋律Ｃ４である。
【０１３８】
また、図２０（Ｂ）に示す例では、２つの旋律の中央の音は各々Ｄ４，Ｆ４であり、これらは音高やタイムスパン木に関して照合しない（従って時間構造に関しても照合しない）ので、最小上界ｌｕｂの結果にはこれらＤ４，Ｆ４の音は含まれない。
【０１３９】
また、図２０（Ｃ）の例は、音高が同じだが音価が異なるような例である。この最小上界ｌｕｂの結果は、音価の情報が確定しないＣ４，Ｆ４，Ｇ４が音列を作り、最後が四分音符のＣ５であるような旋律である。つまり、結果の抽象的な旋律は、入力の２つの旋律から得られる旋律の内、最も共通部分が多い旋律となっている。Ｃ４，Ｆ４，Ｇ４は、音高は確定しているが音価が不確定という意味で不完全である。
【０１４０】
また、図２０（Ｄ）の例は、ともにＣ４を含むＤ４Ｃ４とＣ４Ｇ４という２つの旋律の最小上界ｌｕｂの計算の例である。時間情報も考慮する必要があるので、旋律の開始時刻を適切に揃えてから最小上界ｌｕｂを計算する。この図の例では、Ｃ４直前の小節線を揃えてから最小上界ｌｕｂを計算しており、最小上界ｌｕｂの結果は旋律Ｃ４となる。
【０１４１】
また、図２０（Ｅ）の例は、図２０（Ｄ）の例と同じ音列であるが開始時刻が異なる旋律の最小上界ｌｕｂの結果を示している。開始時刻が異なることで共通部分を持たず、その結果、最小上界ｌｕｂは空（Ｔと書く）となる。
【０１４２】
この最小上界ｌｕｂは、入力の２つの旋律の最大共通部分を計算するので、計算結果が入力と等しい場合には、ｌｕｂを計算したことによる情報の損失がなく、その２つの旋律は等価である（最も類似している）と考えられる。逆に、計算結果がＴの場合には、入力の旋律の情報が全て失われたことを意味しており、入力の２つの旋律は無関係である（全く類似していない）と考えられる。
【０１４３】
そこで、オブジェクト項間類似度判定部１４は、最小上界ｌｕｂの計算によって失われた情報（タイムスパン簡約木に関するものと時間構造に関するものとがある）の量をもって、２つの旋律の類似度を計測することとする。
【０１４４】
これから、ステップ２５で、判定対象となる楽曲部分のオブジェクト項と、判定先となる楽曲部分のオブジェクト項との間の最小上界ｌｕｂを求めると、続いて、ステップ２６で、その求めた最小上界ｌｕｂを使って、その２つの楽曲部分Ｐ，Ｑの間の類似度の尺度ＲN,ＲA,ＲT を、
Ｒ$ （Ｐ，Ｑ）＝｜ｌｕｂ（Ｐ，Ｑ）｜$ ／ｍａｘ（｜Ｐ｜$,｜Ｑ｜$ ）
但し、＄＝Ｎ，Ａ，Ｔ
という算出式に従って算出する。
【０１４５】
ここで、｜Ｐ｜N はＰに含まれる音の総数、｜Ｐ｜A はＰのnoteオブジェクトに含まれる属性の総数、｜Ｐ｜T はＰの時間オブジェクトに含まれる属性の総数、｜Ｑ｜N はＱに含まれる音の総数、｜Ｑ｜A はＱのnoteオブジェクトに含まれる属性の総数、｜Ｑ｜T はＱの時間オブジェクトに含まれる属性の総数を示している。
【０１４６】
１つの音（noteオブジェクト）は２つの属性（音高／音価と発音時刻）を持つので、well-formed(Ｔを含まないよう）なＰに関して｜Ｐ｜A ＝２×｜Ｐ｜N となる。同様に、１つの時間オブジェクトは４つの属性（先行音、後続音、注目音、時間差分）を持つので、well-formed(Ｔを含まないよう）なＰに関して｜Ｐ｜T ＝４｜Ｐ｜N となる。
【０１４７】
ＲN とＲA はタイムスパン簡約木に関連しており、ＲT は時間構造に関連している。ＲN は、不完全な音でも１つの音と見なして、音のレベルでのタイムスパン簡約木の類似度を表している。ＲA は、属性のレベルでのタイムスパン簡約木の類似度を表しており、ｌｕｂの結果に含まれる全ての音について、音高と音価の属性がどの程度確定しているかを示す。同様に、ＲT は、属性のレベルでの時間構造の類似度を表しており、ｌｕｂの結果に含まれる全ての音の発音時間について、上述の時間オブジェクトの４つの属性がどの程度確定しているかを示す。但し、音の属性、時間構造の属性は全て同じ重みで定量化する。
【０１４８】
最小上界ｌｕｂの算出例について説明するならば、Ｐ＝Ｑの場合には、ＲN ＝ＲA ＝ＲT ＝1.０と算出される。逆にｌｕｂ（Ｐ，Ｑ）＝Ｔの場合には、ＲN ＝ＲA ＝ＲT ＝0.０と算出される。また、Ｐ⊆Ｑの場合、｜Ｐ｜$ ≧｜Ｑ｜$ （＄＝Ｎ，Ａ，Ｔ）なので、Ｒ$ （Ｐ，Ｑ）＝｜Ｑ｜$ ／｜Ｐ｜$ と算出される。
【０１４９】
また、図２０（Ｂ）の場合、先頭の音が時間の基準になることで、先頭の音については時間構造の属性として１つしか持たないことを考慮して、
ＲN ＝（１＋１）／（１＋１＋１）＝２／３
ＲA ＝（２＋２）／（２＋２＋２）＝２／３
ＲT ＝（１＋４＊１）／（１＋４＊１＋４＊１）＝５／９
と算出される。
【０１５０】
また、図２０（Ｃ）の場合、ｌｕｂで算出したＣ４Ｆ４Ｇ４が発音時刻に関する情報を失っており、さらに、先頭の音が時間の基準になることで、先頭の音については時間構造の属性として１つしかなく、これに加えて、ｌｕｂで算出したＣ４Ｆ４Ｇ４が時間差分の情報を失っていることを考慮して、
ＲN ＝ (1+1+1+1)/(1+1+1+1)=1.0
ＲA ＝ (1+1+1+2*1)/(2*1+2*1+2*1+2*1)=5/8
ＲT ＝（3*1+3*1+3*1+1)/(1+4*1+4*1+4*1)=10/13
と算出される。
【０１５１】
また、図２０（Ｄ）の場合、先頭の音が時間の基準になることで、先頭の音については時間構造の属性として１つしか持たないことを考慮して、
ＲN ＝１／（１＋１）＝１／２
ＲA ＝２／（２＋２）＝１／２
ＲT ＝１／（１＋４＊１）＝１／５
と算出される。
【０１５２】
このようにして、ステップ２６で、判定対象となる楽曲部分Ｐと判定先となる楽曲部分Ｑとの間の類似度の尺度ＲN,ＲA,ＲT を算出すると、続いて、ステップ２７で、その算出した類似度の尺度ＲN,ＲA,ＲT を使い、その２つの楽曲部分Ｐ，Ｑの間に、例えば、
ＲN （Ｐ，Ｑ）＞ＴN ∧ＲT （Ｐ，Ｑ）＞ＴT ∧ＲA （Ｐ，Ｑ）＞ＴA
ＴN,ＴA,ＴT ：ステップ２０で設定した閾値
という条件が成立する場合には、その２つの楽曲部分Ｐ，Ｑが類似するという判定を行うことで、その２つの楽曲部分Ｐ，Ｑが類似するのか否かを判定する。
【０１５３】
このように、楽曲の持つ異なる音楽的側面に対しての複数の閾値を使って、２つの楽曲部分Ｐ，Ｑが類似するのか否かを判定することで、音楽家の意図に沿った形で、２つの楽曲部分Ｐ，Ｑが類似するのか否かを判定するのである。
【０１５４】
続いて、ステップ２８で、判定対象となる楽曲部分Ｐと判定先となる楽曲部分Ｑとが類似するという判定が得られたのか否かを判断して、類似するという判定が得られた場合には、ステップ２９に進んで、その類似すると判定した楽曲部分の楽曲位置情報を記録してから、次の判定先となる楽曲部分を処理すべくステップ２３に戻り、一方、類似しないという判定が得られた場合には、ステップ２９の処理を行うことなく、次の判定先となる楽曲部分を処理すべくステップ２３に戻る。
【０１５５】
そして、ステップ２３〜ステップ２９の処理を繰り返していくことで、ステップ２３で、判定の相手先となる全ての楽曲部分を処理したことを判断すると、次の判定対象となる楽曲部分を処理すべくステップ２１に戻る。
【０１５６】
そして、ステップ２１〜ステップ２９の処理を繰り返していくこで、ステップ２１で、判定対象となる全ての楽曲部分を処理したことを判断すると、ステップ３０に進んで、ステップ２９で記録した類似する楽曲部分の楽曲位置情報を通知しつつ、楽曲要約部１５を起動して、処理を終了する。
【０１５７】
このようにして、オブジェクト項間類似度判定部１４は、オブジェクト項変換部１２により課題曲を表現するオブジェクト項が生成されると、オブジェクト項間の包摂関係を用いて課題曲の各楽曲部分同士の類似度を判定して、類似する楽曲部分の楽曲位置情報を通知しつつ、楽曲要約部１５を起動するように処理するのである。
【０１５８】
ここで、図１２の処理フローでは、類似度判定の対象となる楽曲部分のサイズＳが１つであることを想定したが、このサイズＳとして複数の値が設定される場合には、各サイズＳについて楽曲部分を切り出して類似度判定を行うことになる。また、図１２の処理フローでは説明しなかったが、同一の楽曲部分の組み合わせについては何度も類似度判定を行わないように制御する処理を行うことになる。
【０１５９】
〔２−４〕楽曲要約部１５の処理
楽曲要約部１５は、オブジェクト項間類似度判定部１４から起動されると、図１３及び図１４の処理フローに示すように、先ず最初に、ステップ４０で、オブジェクト項間類似度判定部１４から通知される類似する楽曲部分の楽曲位置情報に従って、課題曲の楽譜情報を表示する画面に、どの楽曲部分とどの楽曲部分とが類似するのかということを明示出力する。
【０１６０】
例えば、色付きの短冊を使って類似楽曲部分を明示出力することなどにより、課題曲のどの楽曲部分とどの楽曲部分とが類似するのかということを明示出力するのである。
【０１６１】
続いて、ステップ４１で、ユーザ操作が行われるのを待って、ユーザ操作が行われたことを検出すると、ステップ４２に進んで、ユーザから類似する楽曲部分の試聴要求が発行されたのか否かを判断して、この試聴要求が発行されたことを判断するときには、ステップ４３に進んで、試聴要求のある楽曲部分を楽曲出力装置４に出力してから、ステップ４１に戻る。
【０１６２】
一方、ステップ４２で、ユーザから類似する楽曲部分の試聴要求が発行されたのではないことを判断するときには、ステップ４４に進んで、ユーザから類似する楽曲部分の削除要求が発行されたのか否かを判断して、この削除要求が発行されたことを判断するときには、ステップ４５に進んで、削除要求のある楽曲部分を削除してから、ステップ４１に戻る。
【０１６３】
一方、ステップ４４で、ユーザから類似する楽曲部分の削除要求が発行されたのではないことを判断するときには、ステップ４６で進んで、ユーザから削除した楽曲部分の復活要求が発行されたのか否かを判断して、この復活要求が発行されたことを判断するときには、ステップ４７に進んで、復活要求のある削除した楽曲部分を復活させてから、ステップ４１に戻る。
【０１６４】
一方、ステップ４６で、ユーザから削除した楽曲部分の復活要求が発行されたのではないことを判断するときには、ステップ４８に進んで、ユーザから課題曲の要約要求が発行されたのか否かを判断して、課題曲の要約要求が発行されたことを判断するときには、ステップ４９に進んで、削除した楽曲部分を取り除くことで要約した課題曲を楽曲出力装置４に出力する。
【０１６５】
このとき、課題曲の楽譜情報を表示する画面に、どの楽曲部分が削除されているのかを明示出力するとともに、課題曲の要約率を出力することになる。
【０１６６】
この要約した課題曲の出力を受けて、ユーザは、その課題曲の要約でよい場合には、終了要求を発行し、その課題曲の要約でよくない場合には、やり直し要求を発行し、その課題曲の要約から要約処理を継続していく場合には、要約処理の継続要求を発行する。
【０１６７】
これから、ステップ４９で要約した課題曲を出力すると、続くステップ５０で、これに応答してユーザ操作が行われるのを待って、ユーザ操作が行われたことを検出すると、ステップ５１に進んで、ユーザから終了要求が発行されたのか否かを判断して、ユーザから終了要求が発行されたことを判断するときには、課題曲の要約が完成したことを判断して、処理を終了する。
【０１６８】
一方、ステップ５１で、ユーザから終了要求が発行されたのではないことを判断するときには、ステップ５２に進んで、ユーザからやり直し要求が発行されたのか否かを判断して、ユーザからやり直し要求が発行されたことを判断するときには、ステップ５３に進んで、課題曲を初期状態（削除した楽曲部分を全て復活させる）に戻してから、ステップ４１に戻る。
【０１６９】
一方、ステップ５２で、ユーザからやり直し要求が発行されたのではないことを判断するとき、すなわち、ユーザから継続要求が発行されたことを判断するときには、ステップ５３の処理を行うことなく、ステップ４１に戻る。
【０１７０】
そして、ステップ４８で、ユーザから課題曲の要約要求が発行されたのではないことを判断するときには、ステップ５４に進んで、ユーザから要求された処理を実行してから、ステップ４１に戻る。
【０１７１】
このようにして、楽曲全体の構成を反映した要約結果はユーザの嗜好や主観に依存することを考慮して、楽曲要約部１５は、オブジェクト項間類似度判定部１４により得られた類似度判定結果に基づいて、課題曲の要約のための削除対象として可能となる楽曲部分を特定し、その楽曲部分をディスプレイに明示出力してユーザと対話することで、最終的に削除する楽曲部分を決定することにより課題曲を要約するのである。
【０１７２】
以上説明したように、図１０のように構成される本発明の楽曲要約処理装置１では、音楽理論によって支えられる部分とユーザの嗜好や主観に依存する部分とを区別して、音楽理論によって支えられる部分については自動化が容易であるので自動化を行い、一方、ユーザの嗜好や主観に依存する部分は自動化が困難な面があるので、ユーザの意図を効率良く取り込むために、必要に応じてユーザとインタラクションを行うことで課題曲を要約するように処理することになる。
【０１７３】
図示実施形態例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施形態例では、類似すると判定した楽曲部分をユーザに明示してユーザとインタラクションを行うことで課題曲を要約するという構成を採ったが、規定のアルゴリズムに従って、類似すると判定した楽曲部分の内の一部を自動的に削除することで課題曲を要約するという構成を採ることも可能である。
【０１７４】
【発明の効果】
以上説明したように、本発明では、互いに類似する楽曲部分の一部を削除することにより課題曲を要約することで、あたかも傷の付いたレコード盤上での針飛びで生ずる速聴きのような形でもって楽曲全体を縮めることを実現することになるが、この実現にあたって、音楽理論に基づく楽曲分析を行い、音楽家の意図を表す楽曲部分について類似するのか否かを判定することで、その針飛びを楽曲の区切り個所において音楽的に正しく生ずるようにする。
【０１７５】
この構成に従って、本発明によれば、楽曲全体の雰囲気を反映したような形態を実現しつつ、あたかも傷の付いたレコード盤上での針飛びで生ずる速聴きのような形でもって楽曲全体を縮めることができるようになる。
【０１７６】
現実に我々が普段耳にする楽曲の多くは、キーフレーズを唯一に特定するのが困難である。よって、この部分がサビであると特定するのは難しく、またリスナーの嗜好によっても変化する。
【０１７７】
これから、本発明の実現する、全体構成をできるだけ残しつつ楽曲全体を縮めるような自然な形の要約は極めて有効であり、様々な有効利用が期待できる。
【図面の簡単な説明】
【図１】タイムスパン簡約木の説明図である。
【図２】タイムスパン簡約木の説明図である。
【図３】発音時刻を抽象化する場合の説明図である。
【図４】タイムスパン簡約木の説明図である。
【図５】ポリフォニーのタイムスパン簡約の説明図である。
【図６】本発明による楽曲要約方法の説明図である。
【図７】タイムスパン簡約木の説明図である。
【図８】楽曲に付与する時間構造の説明図である。
【図９】オブジェクト項の構文規則の説明図である。
【図１０】本発明を具備する楽曲要約処理装置の持つ機能構成の一実施形態例である。
【図１１】タイムスパン簡約分析部の実行する処理フローである。
【図１２】オブジェクト項間類似度判定部の実行する処理フローである。
【図１３】楽曲要約部の実行する処理フローである。
【図１４】楽曲要約部の実行する処理フローである。
【図１５】タイムスパン簡約分析部の実行する処理の説明図である。
【図１６】タイムスパン簡約木のオブジェクト項表現の説明図である。
【図１７】タイムスパン簡約分析部の実行する処理の説明図である。
【図１８】楽曲に付与する時間構造の説明図である。
【図１９】タイムスパン簡約木のオブジェクト項表現の説明図である。
【図２０】最小上界の算出例の説明図である。
【符号の説明】
１ 楽曲要約処理装置
２ 楽曲入力装置
３ 入出力装置
４ 楽曲出力装置
１０ 楽曲入力部
１１ タイムスパン簡約分析部
１２ オブジェクト項変換部
１３ 作業用メモリ域
１４ オブジェクト項間類似度判定部
１５ 楽曲要約部
Claims (19)
- 処理対象となる課題曲を要約する楽曲要約処理方法であって、
課題曲に対して、音楽理論に基づく楽曲分析を行う過程と、
上記楽曲分析の結果に基づいて、課題曲をそれを表現するオブジェクト項に変換する過程と、
上記オブジェクト項間の包摂関係を用いて、課題曲の各楽曲部分同士の類似度を判定する過程と、
上記類似度判定結果に基づいて、課題曲の要約のための削除対象として可能となる楽曲部分を特定する過程と、
上記特定結果に基づいて、課題曲を要約する過程とを備えることを、
特徴とする楽曲要約処理方法。 - 請求項１に記載の楽曲要約処理方法において、
上記楽曲分析を行う過程では、２つの音の内のどちらの方が重要であるのかを決定しながら、課題曲を構成する音のグルーピング構造を決定することで、課題曲の楽曲分析を行うことを、
特徴とする楽曲要約処理方法。 - 請求項１に記載の楽曲要約処理方法において、
上記類似度を判定する過程では、上記オブジェクト項間の最小上界を求めて、その最小上界により失われる情報の大きさを評価することで、課題曲の各楽曲部分同士の類似度を判定することを、
特徴とする楽曲要約処理方法。 - 請求項３に記載の楽曲要約処理方法において、
上記類似度を判定する過程では、楽曲の持つ異なる音楽的側面に対しての複数の閾値を使って、上記最小上界により失われる情報の大きさを多面的に評価することで、課題曲の各楽曲部分同士の類似度を判定することを、
特徴とする楽曲要約処理方法。 - 請求項１ないし４のいずれか１項に記載の楽曲要約処理方法において、
上記削除対象を特定する過程では、互いに類似する楽曲部分を削除可能な楽曲部分として特定することを、
特徴とする楽曲要約処理方法。 - 請求項１ないし４のいずれか１項に記載の楽曲要約処理方法において、
上記課題曲を要約する過程では、課題曲のどの楽曲部分とどの楽曲部分とが類似するのかをディスプレイに明示出力して、対話処理に従って、課題曲の要約のために削除すべき楽曲部分を決定することで課題曲を要約することを、
特徴とする楽曲要約処理方法。 - 処理対象となる課題曲を要約する楽曲要約処理装置であって、
課題曲に対して、音楽理論に基づく楽曲分析を行う手段と、
上記楽曲分析の結果に基づいて、課題曲をそれを表現するオブジェクト項に変換する手段と、
上記オブジェクト項間の包摂関係を用いて、課題曲の各楽曲部分同士の類似度を判定する手段と、
上記類似度判定結果に基づいて、課題曲の要約のための削除対象として可能となる楽曲部分を特定する手段と、
上記特定結果に基づいて、課題曲を要約する手段とを備えることを、
特徴とする楽曲要約処理装置。 - 請求項７に記載の楽曲要約処理装置において、
上記楽曲分析を行う手段は、２つの音の内のどちらの方が重要であるのかを決定しながら、課題曲を構成する音のグルーピング構造を決定することで、課題曲の楽曲分析を行うことを、
特徴とする楽曲要約処理装置。 - 請求項７に記載の楽曲要約処理装置において、
上記類似度を判定する手段は、上記オブジェクト項間の最小上界を求めて、その最小上界により失われる情報の大きさを評価することで、課題曲の各楽曲部分同士の類似度を判定することを、
特徴とする楽曲要約処理装置。 - 請求項９に記載の楽曲要約処理装置において、
上記類似度を判定する手段は、楽曲の持つ異なる音楽的側面に対しての複数の閾値を使って、上記最小上界により失われる情報の大きさを多面的に評価することで、課題曲の各楽曲部分同士の類似度を判定することを、
特徴とする楽曲要約処理装置。 - 請求項７ないし１０のいずれか１項に記載の楽曲要約処理装置において、
上記削除対象を特定する手段は、互いに類似する楽曲部分を削除可能な楽曲部分として特定することを、
特徴とする楽曲要約処理装置。 - 請求項７ないし１０のいずれか１項に記載の楽曲要約処理装置において、
上記課題曲を要約する手段は、課題曲のどの楽曲部分とどの楽曲部分とが類似するのかをディスプレイに明示出力して、対話処理に従って、課題曲の要約のために削除すべき楽曲部分を決定することで課題曲を要約することを、
特徴とする楽曲要約処理装置。 - 処理対象となる課題曲を要約する楽曲要約処理装置の実現に用いられる楽曲要約処理プログラムであって、
課題曲に対して、音楽理論に基づく楽曲分析を行う手段と、
上記楽曲分析の結果に基づいて、課題曲をそれを表現するオブジェクト項に変換する手段と、
上記オブジェクト項間の包摂関係を用いて、課題曲の各楽曲部分同士の類似度を判定する手段と、
上記類似度判定結果に基づいて、課題曲の要約のための削除対象として可能となる楽曲部分を特定する手段と、
上記特定結果に基づいて、課題曲を要約する手段として、コンピュータを機能させるための楽曲要約処理プログラム。 - 請求項１３に記載の楽曲要約処理プログラムにおいて、
上記楽曲分析を行う手段は、２つの音の内のどちらの方が重要であるのかを決定しながら、課題曲を構成する音のグルーピング構造を決定することで、課題曲の楽曲分析を行うことを、
特徴とする楽曲要約処理プログラム。 - 請求項１３に記載の楽曲要約処理プログラムにおいて、
上記類似度を判定する手段は、上記オブジェクト項間の最小上界を求めて、その最小上界により失われる情報の大きさを評価することで、課題曲の各楽曲部分同士の類似度を判定することを、
特徴とする楽曲要約処理プログラム。 - 請求項１５に記載の楽曲要約処理プログラムにおいて、
上記類似度を判定する手段は、楽曲の持つ異なる音楽的側面に対しての複数の閾値を使って、上記最小上界により失われる情報の大きさを多面的に評価することで、課題曲の各楽曲部分同士の類似度を判定することを、
特徴とする楽曲要約処理プログラム。 - 請求項１３ないし１６のいずれか１項に記載の楽曲要約処理プログラムにおいて、
上記削除対象を特定する手段は、互いに類似する楽曲部分を削除可能な楽曲部分として特定することを、
特徴とする楽曲要約処理プログラム。 - 請求項１３ないし１６のいずれか１項に記載の楽曲要約処理プログラムにおいて、
上記課題曲を要約する手段は、課題曲のどの楽曲部分とどの楽曲部分とが類似するのかをディスプレイに明示出力して、対話処理に従って、課題曲の要約のために削除すべき楽曲部分を決定することで課題曲を要約することを、
特徴とする楽曲要約処理プログラム。 - 請求項１３ないし１８のいずれか１項に記載の楽曲要約処理プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002371244A JP3987427B2 (ja) | 2002-12-24 | 2002-12-24 | 楽曲要約処理方法、楽曲要約処理装置、楽曲要約処理プログラム及びそのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002371244A JP3987427B2 (ja) | 2002-12-24 | 2002-12-24 | 楽曲要約処理方法、楽曲要約処理装置、楽曲要約処理プログラム及びそのプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004205575A JP2004205575A (ja) | 2004-07-22 |
| JP3987427B2 true JP3987427B2 (ja) | 2007-10-10 |
Family
ID=32810173
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002371244A Expired - Fee Related JP3987427B2 (ja) | 2002-12-24 | 2002-12-24 | 楽曲要約処理方法、楽曲要約処理装置、楽曲要約処理プログラム及びそのプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3987427B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102004047069A1 (de) | 2004-09-28 | 2006-04-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Ändern einer Segmentierung eines Audiostücks |
| DE102004047032A1 (de) * | 2004-09-28 | 2006-04-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Bezeichnen von verschiedenen Segmentklassen |
| KR100725018B1 (ko) | 2005-11-24 | 2007-06-07 | 삼성전자주식회사 | 음악 내용 자동 요약 방법 및 그 장치 |
| JP4682375B2 (ja) * | 2006-03-10 | 2011-05-11 | 株式会社国際電気通信基礎技術研究所 | 簡約楽譜作成装置および簡約楽譜作成プログラム |
| JP2008145564A (ja) * | 2006-12-07 | 2008-06-26 | Casio Comput Co Ltd | 自動編曲装置および自動編曲プログラム |
| JP4983506B2 (ja) * | 2007-09-25 | 2012-07-25 | ヤマハ株式会社 | 楽曲加工装置およびプログラム |
| JP5051539B2 (ja) * | 2008-02-05 | 2012-10-17 | 独立行政法人科学技術振興機構 | モーフィング楽曲生成装置及びモーフィング楽曲生成用プログラム |
-
2002
- 2002-12-24 JP JP2002371244A patent/JP3987427B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004205575A (ja) | 2004-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7788279B2 (en) | System and method for storing and retrieving non-text-based information | |
| Stowell et al. | Detection and classification of acoustic scenes and events | |
| US7925669B2 (en) | Method and apparatus for audio/video attribute and relationship storage and retrieval for efficient composition | |
| US7522967B2 (en) | Audio summary based audio processing | |
| JPH06110945A (ja) | 音楽データベース作成装置及びその検索装置 | |
| US20060065102A1 (en) | Summarizing digital audio data | |
| CN112231499A (zh) | 一种视频配乐智能系统 | |
| CN104008747A (zh) | 用于检测和弦的设备和方法 | |
| CN104380371A (zh) | 用于生成输入音乐数据的伴奏的装置、系统和方法 | |
| JP3987427B2 (ja) | 楽曲要約処理方法、楽曲要約処理装置、楽曲要約処理プログラム及びそのプログラムを記録した記録媒体 | |
| Collins | Computational Analysis of Musical Influence: A Musicological Case Study Using MIR Tools. | |
| CN113178182A (zh) | 信息处理方法、装置、电子设备及存储介质 | |
| Leman | Musical audio-mining | |
| JP2001155467A (ja) | 編集処理装置、及び編集処理プログラムが記憶された記憶媒体 | |
| JP5085577B2 (ja) | プレイリスト作成装置、楽曲再生装置、プレイリスト作成方法およびプレイリスト作成プログラム | |
| Duignan | Computer mediated music production: A study of abstraction and activity | |
| Kelly | Evaluation of melody similarity measures | |
| JP3610017B2 (ja) | 事例に基づく編曲処理方法，事例に基づく編曲処理プログラムおよび事例に基づく編曲処理プログラムの記録媒体 | |
| Eigenfeldt et al. | Towards a generative electronica: Human-informed machine transcription and analysis in maxmsp | |
| JP3778270B2 (ja) | 選択履歴管理情報、選択履歴情報、情報記憶媒体、及びユーザーインターフェース補助システム | |
| JP4906274B2 (ja) | メタデータ統合装置及びメタデータ統合プログラム | |
| Chiba et al. | What is a'note'? Agreement and disagreement in transcriptions of Japanese folk songs | |
| Peeters et al. | A Multimedia Search and Navigation Prototype, Including Music and Video-clips. | |
| Maršík et al. | KaraMIR: A project for cover song identification and singing voice analysis using a karaoke songs dataset | |
| Della Ventura | Analytical techniques for the identification of a musical score: The musical dna |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051005 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070622 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070710 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070712 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100720 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100720 Year of fee payment: 3 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100720 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110720 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120720 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |