JP5728918B2

JP5728918B2 - 情報処理装置

Info

Publication number: JP5728918B2
Application number: JP2010274408A
Authority: JP
Inventors: 美希荒井; 藤島　琢哉; 琢哉藤島
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2010-12-09
Filing date: 2010-12-09
Publication date: 2015-06-03
Anticipated expiration: 2030-12-09
Also published as: JP2012123230A

Description

本発明は、複数の情報系列の間で時間的な対応を解析した結果を評価する技術に関する。

複数の情報系列の間で時間的な対応を解析（以下「同期解析」という）する技術が従来から提案されている。例えば特許文献１には、光ディスク等の記録媒体から再生される音響信号とMIDIに準拠した制御情報の時系列との間で時間軸上の対応を解析する技術が開示されている。

特開２００４−２１２４７３号公報

ところで、複数の情報系列の間で時間的な対応を正確に解析することは困難であり、解析結果に誤差が発生する場合がある。したがって、同期解析結果の妥当性（信頼性）を定量的に評価できれば有用である。以上の事情を考慮して、本発明は、同期解析結果の定量的な評価指標の提供を目的とする。

以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の要素と後述の実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。

本発明の情報処理装置は、複数の第１単位情報（例えば単位情報ＵA）を時系列に配列した第１情報系列（例えば情報系列τA）と複数の第２単位情報（例えば単位情報ＵB）を時系列に配列した第２情報系列（例えば情報系列τB）との間で各第１単位情報と各第２単位情報との時間的な対応を解析する同期解析について結果の評価指標（例えば評価指標Ｅ）を算定する情報処理装置であって、第１情報系列に対応する第１軸（例えばＸ軸）と第２情報系列に対応する第２軸（例えばＹ軸）とで規定される解析平面において、同期解析で相互に対応すると判断された第１単位情報と第２単位情報との組合せ毎の対応点（例えば対応点Ｃ[k]）の分布を近似する基準線（例えば基準線ＬREF）を特定する分布近似手段（例えば分布近似部４２）と、基準線と対応点との隔たりに応じて評価指標を算定する指標算定手段（例えば指標算定部４４）とを具備する。以上の構成によれば、基準線と各対応点との隔たりに応じて算定される評価指標を同期解析結果の定量的な指標として利用することが可能である。

本発明の好適な態様において、分布近似手段は、複数の対応点の回帰直線を基準線として特定する。以上の態様によれば、複数の対応点の分布を高精度に近似する基準線を簡易な方法（例えば最小二乗法）で特定することが可能である。指標算定手段は、例えば、第１軸および第２軸の一方の方向における各対応点と基準線との間隔の自乗和の平方根と、間隔の絶対値の最大値（正数の範囲内の各間隔の最大値または負数の範囲内の各間隔の最小値）と、複数の対応点の各々に対応する間隔の散らばりの度合等の数値に応じて評価指標を算定する。

本発明の好適な態様に係る情報処理装置は、楽曲の楽音を示す第１音響信号（例えば音響信号ＳA）の特徴量を第１単位情報として時系列に配列した第１情報系列と、楽曲の楽音を示す第２音響信号（例えば音響信号ＳB）の特徴量を第２単位情報として時系列に配列した第２情報系列とについて同期解析を実行する同期解析手段（例えば同期解析部３２）を具備し、分布近似手段は、同期解析手段による同期解析結果（例えば探索経路Ｐ）から基準線を特定する。以上の態様においては、第１音響信号が示す楽曲と第２音響信号が示す楽曲との同期解析結果の定量的な評価が実現されるから、第１音響信号と第２音響信号とを同期させる場合に有用である。

第１音響信号と第２音響信号との同期解析を実行する情報処理装置の第１態様は、楽曲に関連する情報を第２音響信号に同期するように時系列に指定する制御情報（例えば歌詞情報ＤL）を記憶する記憶手段（例えば記憶装置１４）と、第１音響信号の再生と制御情報の処理とが相互に同期するように同期解析手段による同期解析結果に応じて制御情報を順次に処理する情報処理手段（例えば情報処理部６４）とを具備する。以上の態様によれば、第１音響信号の再生と制御情報の処理とを相互に同期させることが可能である。更に好適な態様において、情報処理手段は、同期解析手段による同期解析結果の妥当性が高いことを評価指標が示す場合には、第１音響信号の再生と制御情報の処理とが相互に同期するように同期解析手段による同期解析結果に応じて制御情報を順次に処理し、同期解析結果の妥当性が低いことを評価指標が示す場合には同期解析の失敗を利用者に報知する。以上の態様の具体例は例えば第３実施形態として後述される。

第１音響信号と第２音響信号との同期解析を実行する情報処理装置の第２態様において、同期解析手段は、複数の候補楽曲の各々について、対象楽曲の第１情報系列と当該候補楽曲の第２情報系列との間で同期解析を実行し、分布近似手段は、対象楽曲と各候補楽曲との組合せ毎に基準線を特定し、指標算定手段は、対象楽曲と各候補楽曲との組合せ毎に評価指標を算定し、複数の候補楽曲のうち対象楽曲に類似する楽曲を、各候補楽曲の評価指標に応じて選択する楽曲検索手段（例えば楽曲検索部７２）を具備する。以上の態様では、対象楽曲に類似する候補楽曲を評価指標に応じて高精度に検索できるという利点がある。以上の態様の具体例は例えば第４実施形態として後述される。

本発明の好適な態様において、第１情報系列から選択された特定区間内の第１単位情報に対応する各対応点を対象として、分布近似手段が基準線を特定するとともに指標算定手段が評価指標を算定する。以上の態様においては、第１情報系列の特定区間内の各対応点を対象として評価指標が算定されるから、例えば各対応点と基準線とが本来的に乖離し易い区間（例えば第１情報系列のうち先頭区間と末尾区間との少なくとも一方の区間）以外の区間を特定区間に設定することで、同期解析結果の妥当性を適切に評価可能な評価指標を算定することが可能である。

本発明の好適な態様に係る情報処理装置は、第１情報系列と第２情報系列との楽曲構成の相違の有無を判定する判定手段（例えば判定部３６）を具備し、曲構成が相違しないと判定手段が判定した場合に分布近似手段による基準線の特定と指標算定手段による評価指標の算定とが実行され、曲構成が相違すると判定手段が判定した場合には、分布近似手段による基準線の特定と指標算定手段による評価指標の算定とが停止される。以上の態様によれば、第１情報系列と第２情報系列との楽曲構成の相違の有無が判定されるから、同期解析結果の妥当性を正確に評価できる評価指標を算定することが可能である。なお、以上の態様の具体例は例えば第２実施形態として後述される。

以上の各態様に係る情報処理装置は、評価指標の算定に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、複数の第１単位情報を時系列に配列した第１情報系列と複数の第２単位情報を時系列に配列した第２情報系列との間で各第１単位情報と各第２単位情報との時間的な対応を解析する同期解析について結果の評価指標を算定するために、第１情報系列に対応する第１軸と第２情報系列に対応する第２軸とで規定される解析平面において、同期解析で相互に対応すると判断された第１単位情報と第２単位情報との組合せ毎の対応点の分布を近似する基準線を特定する分布近似処理と、基準線と対応点との隔たりに応じて評価指標を算定する指標算定処理とをコンピュータに実行させる。以上のプログラムによれば、本発明に係る情報処理装置と同様の作用および効果が奏される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

第１実施形態に係る音響処理装置のブロック図である。同期解析の説明図である。同期解析が失敗した場合の探索経路と基準線との傾向を示す模式図である。同期解析が成功した場合の探索経路と基準線との傾向を示す模式図である。第２実施形態に係る音響処理装置のブロック図である。第３実施形態に係る音響処理装置のブロック図である。第４実施形態に係る音響処理装置のブロック図である。

＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る音響処理装置１００Aのブロック図である。音響処理装置１００Aには音響信号ＳAと音響信号ＳBとが供給される。音響信号ＳAおよび音響信号ＳBは、楽曲の楽音（演奏音や歌唱音）の時間波形を表す信号である。音響信号ＳAの楽曲と音響信号ＳBの楽曲とは著作物としては相互に共通するが、例えば音響信号ＳAと音響信号ＳBとは別個に収録または作成されるから、楽曲内の各楽音の時間軸上の位置は音響信号ＳAと音響信号ＳBとで完全には合致（同期）しない。音響処理装置１００Aは、音響信号ＳAと音響信号ＳBとの間で各楽音の時間的な対応を解析（同期解析）する情報処理装置である。

音響処理装置１００Aは、演算処理装置１２と記憶装置１４とを具備するコンピュータシステムで実現される。記憶装置１４は、演算処理装置１２が実行するプログラムや演算処理装置１２が使用する各種の情報を記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置１４として任意に採用される。演算処理装置１２は、記憶装置１４に記憶されたプログラムを実行することで複数の機能（第１特徴抽出部２２，第２特徴抽出部２４，解析処理部２６，指標出力部２８）を実現する。なお、演算処理装置１２の各機能を複数の集積回路に分散した構成や、専用の電子回路（DSP）が各機能を実現する構成も採用され得る。

第１特徴抽出部２２は、図２に示すように、音響信号ＳAを区分したＭ個の単位区間ＴA[1]〜ＴA[M]の各々について音響信号ＳAの音楽的な特徴量を示す単位情報ＵAを算定する。同様に、第２特徴抽出部２４は、音響信号ＳBのＮ個の単位区間ＴB[1]〜ＴB[N]の各々について音響信号ＳBの音楽的な特徴量を示す単位情報ＵBを算定する。すなわち、Ｍ個の単位情報ＵAを時系列に配列した情報系列τAとＮ個の単位情報ＵBを時系列に配列した情報系列τBとが生成される。単位区間ＴA[m]（ｍ＝１〜Ｍ）と単位区間ＴB[n]（ｎ＝１〜Ｎ）とは基本的には同等の時間長に設定されるが、相異なる時間長にも設定され得る。

単位情報ＵAおよび単位情報ＵBの各々が示す特徴量は、例えばクロマベクトル（ピッチクラスプロファイル（PCP：Pitch Class Profile））である。クロマベクトルは、音響の和声感の指標となる特徴量であり、相異なる音名（Ｃ,Ｃ#,Ｄ,Ｄ#,Ｅ,Ｆ,Ｆ#,Ｇ,Ｇ#,Ａ,Ａ#,Ｂ）に対応する12次元のベクトルで表現される。クロマベクトルを構成する12個の要素の各々は、音響信号（ＳA，ＳB）のうち当該要素に対応する音名（クロマ）の周波数成分（１オクターブに相当する周波数帯域を音名毎に区分した12個の周波数帯域のうち当該音名に対応する周波数帯域の成分）の強度を複数のオクターブについて加算または平均した数値に相当する。すなわち、第１特徴抽出部２２は、短時間フーリエ変換等の公知の周波数分析で音響信号ＳAの単位区間ＴA[m]毎に周波数スペクトルを生成し、周波数スペクトルのうち１オクターブに相当する周波数帯域を複数のオクターブについて加算したクロマベクトルを単位情報ＵAとして算定する。第２特徴抽出部２４が単位区間ＴB[n]毎に単位情報ＵBを算定する手順も同様である。もっとも、単位情報ＵAや単位情報ＵBが示す特徴量はクロマベクトルに限定されない。例えば、音響信号ＳAや音響信号ＳBのピッチや音量等の特徴量を単位情報ＵAや単位情報ＵBとして抽出する構成も採用され得る。

図１の解析処理部２６は、第１特徴抽出部２２が生成する情報系列τAと第２特徴抽出部２４が生成する情報系列τBとの対比で音響信号ＳAと音響信号ＳBとの時間的な対応を解析する手段であり、同期解析部３２と結果解析部３４とを含んで構成される。

同期解析部３２は、音響信号ＳAと音響信号ＳBとで相互に対応する時間軸上の位置（楽曲内の同じ楽音に対応する位置）を情報系列τAと情報系列τBとの対比の結果に応じて特定する同期解析を実行する。具体的には、同期解析部３２は、音響信号ＳAのＭ個の単位区間ＴA[1]〜ＴA[M]の各々の単位情報ＵAと音響信号ＳBのＮ個の単位区間ＴB[1]〜ＴB[N]の各々の単位情報ＵBとの類否（相関）を解析することで各単位区間ＴA[m]と各単位区間ＴB[n]との時間的な対応を特定する。同期解析部３２による同期解析には、以下に例示する動的時間伸縮（DTW：Dynamic Time Warping）が好適に採用される。

同期解析部３２は、音響信号ＳAのＭ個の単位区間ＴA[1]〜ＴA[M]と音響信号ＳBのＮ個の単位区間ＴB[1]〜ＴB[N]とから単位区間ＴA[m]および単位区間ＴB[n]を選択する全通りの組合せについて、単位区間ＴA[m]の単位情報ＵAと単位区間ＴB[n]の単位情報ＵBとの類否（相関）の指標となる類否指標値Ｒ[m,n]を算定する。例えば単位情報ＵAと単位情報ＵBとの内積が類否指標値Ｒ[m,n]として算定される。したがって、単位情報ＵAと単位情報ＵBとの類似度が高いほど類否指標値Ｒ[m,n]は大きい数値となる。なお、例えば単位情報ＵAと単位情報ＵBとの幾何距離を類否指標値Ｒ[m,n]として算定する構成（単位情報ＵAと単位情報ＵBとの類似度が高いほど類否指標値Ｒ[m,n]が小さい数値となる構成）も採用され得る。

図２に示すように、音響信号ＳAの情報系列τA（単位区間ＴA[1]〜ＴA[M]）に対応するＸ軸と音響信号ＳBの情報系列τB（単位区間ＴB[1]〜ＴB[N]）に対応するＹ軸とで規定される平面（以下「解析平面」という）を想定すると、解析平面のうち単位区間ＴA[m]と単位区間ＴB[n]との各組合せに対応する格子点（以下「解析点」という）Ａ[m,n]毎に類否指標値Ｒ[m,n]が算定される。同期解析部３２は、音響信号ＳAの先頭の単位区間ＴA[1]と音響信号ＳBの先頭の単位区間ＴB[1]とに対応する解析点Ａ[1,1]から、音響信号ＳAの末尾の単位区間ＴA[M]と音響信号ＳBの末尾の単位区間ＴB[N]とに対応する解析点Ａ[M,N]に到達するように各解析点Ａ[m,n]を連結した複数の経路のうち類否指標値Ｒ[m,n]の累積値が最大となる１個の探索経路（matching path）Ｐを選択する。探索経路Ｐ上のＫ個の解析点Ａ[m,n]（以下では特に「対応点Ｃ[1]〜Ｃ[K]」と表記する）の各々が、楽曲内で相互に対応する単位区間ＴA[m]と単位区間ＴB[n]との組合せに相当する。以上が同期解析部３２による同期解析の具体的な手順である。

図１の結果解析部３４は、同期解析部３２による同期解析結果（探索経路Ｐ）の妥当性を評価するための定量的な指標（以下「評価指標」という）Ｅを算定する。図１に示すように、結果解析部３４は、分布近似部４２と指標算定部４４とを含んで構成される。

分布近似部４２は、図３に示すように、同期解析部３２が特定した探索経路Ｐ上のＫ個の対応点Ｃ[1]〜Ｃ[K]の解析平面での分布を近似する基準線ＬREFを特定する。基準線ＬREFは、例えば各対応点Ｃ[k]（ｋ＝１〜Ｋ）のＸ方向の座標値ｘ[k]とＹ方向の座標値ｙ[k]とを利用した最小二乗法で算定される回帰直線であり、以下の数式(1)の一次関数で表現される。数式(1)の記号ａは基準線ＬREFの勾配を意味し、記号ｂはＹ軸上の切片を意味する。
Ｙ＝ａ・Ｘ＋ｂ ……(1)

指標算定部４４は、分布近似部４２が特定した基準線ＬREFとＫ個の対応点Ｃ[1]〜Ｃ[K]との各々との隔たり（誤差，残差）に応じて評価指標Ｅを算定する。具体的には、指標算定部４４は、Ｙ軸の方向における各対応点Ｃ[k]と基準線ＬREFとの間隔Ｄ[k]に応じて評価指標Ｅを算定する。図３に示すように、基準線ＬREFのうちＸ軸の方向の位置が対応点Ｃ[k]と一致する地点のＹ軸の座標値は、「ａ・ｘ[k]＋ｂ」と表現される。したがって、Ｙ軸の方向における対応点Ｃ[k]と基準線ＬREFとの間隔Ｄ[k]は以下の数式(2)で表現される。
Ｄ[k]＝ｙ[k]−(ａ・ｘ[k]＋ｂ) ……(2)

指標算定部４４は、各対応点Ｃ[k]に対応するＫ個の間隔Ｄ[1]〜Ｄ[K]の自乗和の平方根Ｓ（Ｓ＝(Ｄ[1]²＋Ｄ[2]²＋……＋Ｄ[K]²）^1/2)に応じて評価指標Ｅを算定する。具体的には、評価指標Ｅは以下の数式(3)で定義される。
Ｅ＝Ｓ／Ｚ
＝(Ｄ[1]²＋Ｄ[2]²＋……＋Ｄ[K]²）^1/2／Ｚ ……(3)
数式(3)の記号Ｚは、音響信号ＳAまたは音響信号ＳBの時間長（あるいは音響信号ＳAおよび音響信号ＳBの平均時間長）を意味する。数式(3)の時間長Ｚによる除算は、評価指標Ｅに対する時間長Ｚ（対応点Ｃ[k]の個数）の影響が低減されるように評価指標Ｅを正規化する演算を意味する。ただし、時間長Ｚによる評価指標Ｅの正規化は省略され得る。

音響信号ＳAと音響信号ＳBとで楽曲構成が充分に類似する状況を仮定すると、同期解析部３２による同期解析が成功した場合（誤差が小さい場合）には、図４に示すように、同期解析部３２が特定した探索経路Ｐは基準線ＬREFに充分に近似する。すなわち、Ｋ個の対応点Ｃ[1]〜Ｃ[K]が基準線ＬREFの近傍に偏在して直線状に配列し、各間隔Ｄ[k]はゼロに近い数値となる。したがって、指標算定部４４が算定する評価指標Ｅは小さい数値となる。

他方、同期解析部３２による同期解析が失敗した場合（誤差が大きい場合）、音響信号ＳAと音響信号ＳBとで楽曲構成が類似するにも関わらず、探索経路Ｐは基準線ＬREFから乖離した折線となる。すなわち、図３に示すように、Ｋ個の対応点Ｃ[1]〜Ｃ[K]が基準線ＬREFから離間した位置に散在し、同期解析が成功した場合と比較して各間隔Ｄ[k]は大きい数値となる。したがって、指標算定部４４が算定する評価指標Ｅは、同期解析が成功した場合と比較して大きい数値となる。

以上の説明から理解されるように、同期解析部３２による同期解析結果の妥当性が高いほど評価指標Ｅは小さい数値になるという傾向がある。したがって、同期解析結果の妥当性を評価するための定量的な指標として評価指標Ｅを利用することが可能である。

図１の指標出力部２８は、結果解析部３４（指標算定部４４）が算定した評価指標Ｅに応じて同期解析部３２による同期解析結果の妥当性の評価を利用者に報知する。例えば、指標出力部２８は、評価指標Ｅを所定の閾値Ｅthと比較し、評価指標Ｅが閾値Ｅthを下回る場合には同期解析結果の妥当性が高いことを利用者に報知し、評価指標Ｅが閾値Ｅthを上回る場合には同期解析結果の妥当性が低いことを利用者に報知する。指標出力部２８による報知の方法は任意であるが、例えば評価結果を示す画像の出力（表示または印刷）や評価結果を示す音声の再生が好適である。なお、指標出力部２８が評価指標Ｅの数値を利用者に報知する構成も採用され得る。以上に説明したように、本実施形態によれば、基準線ＬREFと各対応点Ｃ[k]との隔たりに応じて算定される評価指標Ｅを同期解析結果の定量的な指標として利用することが可能である。

＜Ｂ：第２実施形態＞
本発明の第２実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。

第１実施形態では、音響信号ＳAと音響信号ＳBとで楽曲構成が類似する場合を前提として同期解析結果と評価指標Ｅとの相関を説明した。しかし、音響信号ＳAと音響信号ＳBとで楽曲構成が大幅に相違する場合には、同期解析部３２による同期解析が成功した場合でも評価指標Ｅは大きい数値となる。第２実施形態では、音響信号ＳAと音響信号ＳBとで楽曲構成が相違する場合を、同期解析部３２による同期解析が失敗した場合と区別する。

図５は、第２実施形態の音響処理装置１００Bのブロック図である。図５に示すように、音響処理装置１００Bの解析処理部２６は、第１実施形態と同様の要素（同期解析部３２，結果解析部３４）に判定部３６を追加した構成である。判定部３６は、音響信号ＳAと音響信号ＳBとで楽曲構成が相違するか否かを判定する。具体的には、音響信号ＳAおよび音響信号ＳBの一方に存在しない区間（例えば休符区間）が他方に含まれる場合に、音響信号ＳAと音響信号ＳBとで楽曲構成が相違すると判定部３６は判定する。楽曲構成の異同（類否）の判定には公知の技術が任意に採用され得るが、同期解析部３２による同期解析結果（探索経路Ｐ）を利用する以下の方法が好適である。

音響信号ＳAと音響信号ＳBとで楽曲構成が類似する場合、音響信号ＳAの１個の単位区間ＴA[m]に音響信号ＳBの多数の単位区間ＴB[n]が対応する可能性や、音響信号ＳBの１個の単位区間ＴB[n]に音響信号ＳAの多数の単位区間ＴA[m]が対応する可能性は低い。以上の傾向から、音響信号ＳBのうち所定値を上回る個数の単位区間ＴB[n]が音響信号ＳAの１個の単位区間ＴA[m]に対応すると同期解析部３２が判定した場合（すなわち探索経路ＰのうちＹ軸の方向に連続して延在する区間長が所定値を上回る場合）や、音響信号ＳAのうち所定値を上回る個数の単位区間ＴA[m]が音響信号ＳBの１個の単位区間ＴB[n]に対応すると同期解析部３２が判定した場合（すなわち探索経路ＰのうちＸ軸の方向に連続して延在する区間長が所定値を上回る場合）に、判定部３６は、音響信号ＳAと音響信号ＳBとで楽曲構成が相違すると判定する。

音響信号ＳAと音響信号ＳBとで楽曲構成が相違すると判定部３６が判定した場合、指標出力部２８は、楽曲構成の相違を利用者に報知する。楽曲構成が相違すると判定された場合、結果解析部３４の動作（分布近似部４２による基準線ＬREFの特定および指標算定部４４による評価指標Ｅの算定）は実行されない。他方、音響信号ＳAと音響信号ＳBとで楽曲構成が合致（類似）すると判定部３６が判定した場合には、第１実施形態と同様に、分布近似部４２による基準線ＬREFの特定と指標算定部４４による評価指標Ｅの算定とが実行され、指標出力部２８は評価指標Ｅに応じた同期解析結果の妥当性の評価を利用者に報知する。

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、音響信号ＳAと音響信号ＳBとの楽曲構成の異同（類否）が判定されるから、音響信号ＳAと音響信号ＳBとの楽曲構成の相違に起因して同期解析部３２による同期解析の失敗と評価される可能性は低減される。なお、第２実施形態では同期解析が失敗した場合と楽曲構成が相違する場合とを区別したが、第１実施形態において、楽曲構成が相違する結果として評価指標Ｅが大きい数値となる場合も含めて同期解析の失敗と評価する構成も採用され得る。

＜Ｃ：第３実施形態＞
図６は、第３実施形態の音響処理装置１００Cのブロック図である。図６に示すように、音響処理装置１００Cには表示装置５２と信号供給装置５４と放音装置５６とが接続される。表示装置５２は、音響処理装置１００Cからの指示に応じて楽曲の歌詞を表示する。信号供給装置５４は、音響信号ＳAを音響処理装置１００Cに供給する。例えば、半導体記録媒体や光ディスク等の記録媒体から音響信号ＳAを取得して音響処理装置１００Cに供給する再生装置や、通信網から音響信号ＳAを受信して音響処理装置１００Cに出力する通信装置が、信号供給装置５４として好適に採用される。放音装置５６（例えばスピーカやヘッドホン）は、信号供給装置５４が出力する音響信号ＳAに応じた音響を再生する。すなわち、第３実施形態では、楽曲の音響の再生と歌詞の表示とが並列に実行される。

記憶装置１４は、楽曲毎に楽曲情報Ｄ0を記憶する。楽曲情報Ｄ0は、楽曲内の各楽音を時系列に指定する楽音情報ＤNと、楽曲の歌詞を時系列に指定する歌詞情報ＤLとを含んで構成される。例えば、楽音の音高および強度や歌詞を指定するイベントデータと各イベントデータの処理の時点を指定するタイミングデータとを時系列に配列したMIDI（Musical Instrument Digital Interface）形式のカラオケデータが楽曲情報Ｄ0として好適に採用される。

第３実施形態の演算処理装置１２は、第１実施形態と同様の第１特徴抽出部２２および第２特徴抽出部２４と解析処理部２６とに加えて信号生成部６２および情報処理部６４として機能する。信号生成部６２は、楽曲情報Ｄ0の楽音情報ＤNから音響信号ＳBを生成する。具体的には、楽音情報ＤNのイベントデータが指定する楽音の波形を順次に生成する公知の音源（MIDI音源）が信号生成部６２として好適に採用される。音響信号ＳBが示す楽音の時系列と歌詞情報ＤLが指定する歌詞の時系列とが時間軸上で相互に対応（同期）するように楽音情報ＤNと歌詞情報ＤLとは作成される。すなわち、音響信号ＳBを再生した場合に各楽音が発生する時点と、その楽音の発生の時点で歌唱すべき歌詞を歌詞情報ＤLが指定する時点とは時間軸上で対応（理想的には合致）する。

第１特徴抽出部２２は、信号供給装置５４から供給される音響信号ＳAの特徴量を示す単位情報ＵAを第１実施形態と同様に単位区間ＴA[m]毎に生成する。第２特徴抽出部２４は、信号生成部６２が生成する音響信号ＳBの特徴量を示す単位情報ＵBを第１実施形態と同様に単位区間ＴB[n]毎に生成する。解析処理部２６の動作（同期解析部３２による同期解析や結果解析部３４による評価指標Ｅの算定）は第１実施形態と同様である。

情報処理部６４は、結果解析部３４が算定した評価指標Ｅに応じて同期解析結果の妥当性が高いと評価できる場合（例えば評価指標Ｅが閾値Ｅthを下回る場合）に、楽曲情報Ｄ0の歌詞情報ＤLが指定する歌詞を表示装置５２に順次に表示させる。歌詞情報ＤLの処理（表示装置５２に対する表示の指示）の進行速度は、音響信号ＳAの再生に同期するように、同期解析部３２による解析結果（探索経路Ｐ）に応じて可変に設定される。具体的には、同期解析部３２による同期解析で各単位区間ＴA[m]に対応付けられた単位区間ＴB[n]の歌詞が、音響信号ＳAのうち当該単位区間ＴA[m]が再生される時点で表示装置５２に表示されるように、情報処理部６４は各歌詞情報ＤLの処理の進行速度を制御する。したがって、音響処理装置１００Cの利用者は、音響信号ＳAの再生音（楽音情報ＤNから再生される楽音と比較して一般的には高音質な楽音）のもとで歌詞を確認しながら歌唱することが可能である。

他方、同期解析結果の妥当性が低いと評価指標Ｅから評価できる場合（例えば評価指標Ｅが閾値Ｅthを上回る場合）、情報処理部６４は、同期解析結果の妥当性が低いこと（同期解析の失敗）を例えば表示装置５２から利用者に報知する。同期解析が失敗した場合、音響信号ＳAの再生や情報処理部６４による歌詞情報ＤLの処理（歌詞表示）は停止される。もっとも、同期解析結果の妥当性が低いと評価できる場合に、同期解析の失敗を利用者に報知しながら音響信号ＳAの再生や歌詞の表示を実行する構成も採用される。

なお、音響信号ＳAと音響信号ＳBとの楽曲構成の異同（類否）を判定する第２実施形態の判定部３６を第３実施形態に追加することも可能である。例えば、音響信号ＳAと音響信号ＳBとで楽曲構成が相違すると判定部３６が判定した場合、情報処理部６４による歌詞情報ＤLの処理と結果解析部３４による評価指標Ｅの算定が停止され、情報処理部６４は楽曲構成の相違を利用者に報知する。他方、音響信号ＳAと音響信号ＳBとで楽曲構成が合致（類似）すると判定部３６が判定した場合、第２実施形態の例示の通り、情報処理部６４は、同期解析結果の妥当性が高いと評価指標Ｅから評価できるならば歌詞情報ＤLを順次に処理し、同期解析結果の妥当性が低いと評価指標Ｅから評価できるならばその旨を利用者に報知する。

また、以上の例示では楽音情報ＤNを音響信号ＳAとの同期の解析のみに利用したが、楽音情報ＤNに応じた音響信号ＳBを音響信号ＳAとともに再生する構成も採用され得る。例えば、ガイドメロディを示す楽音情報ＤNから音響信号ＳBを生成して音響信号ＳAとともに再生すれば、利用者による歌唱や演奏の練習を支援することが可能である。

＜Ｄ：第４実施形態＞
音響信号ＳAと音響信号ＳBとで楽曲が相違するほど基準線ＬREFと各対応点Ｃ[k]との隔たりが増加する（評価指標Ｅが増加する）という傾向がある。以上の傾向を考慮して、第４実施形態は、特定の楽曲（以下「対象楽曲」という）に類似する楽曲の検索に評価指標Ｅを利用する。

図７は、第４実施形態の音響処理装置１００Dのブロック図である。図７に示すように、音響処理装置１００Dには第３実施形態と同様の信号供給装置５４が接続される。信号供給装置５４は、対象楽曲の音響信号ＳAを音響処理装置１００Dに供給する。対象楽曲は例えば利用者からの指示に応じて選択される。他方、記憶装置１４は、検索候補となるＨ個の楽曲（以下「候補楽曲」という）について音響信号ＳB[1]〜ＳB[H]を記憶する。なお、対象楽曲の音響信号ＳAを記憶装置１４に記憶した構成（したがって信号供給装置５４は省略される）も採用され得る。

図７に示すように、音響処理装置１００Dの演算処理装置１２は、第１実施形態と同様の第１特徴抽出部２２および第２特徴抽出部２４と解析処理部２６とに加えて楽曲検索部７２として機能する。第１特徴抽出部２２は、第１実施形態と同様に、音響信号ＳAの単位情報ＵAを単位区間ＴA[m]毎に生成する。第２特徴抽出部２４は、Ｈ個の候補楽曲の各々について音響信号ＳB[h]（ｈ＝１〜Ｈ）の単位情報ＵBを単位区間ＴB[n]毎に生成する。

解析処理部２６の同期解析部３２は、Ｈ個の候補楽曲の各々について、その候補楽曲の音響信号ＳB[h]と対象楽曲の音響信号ＳAとの間の同期解析を実行する。すなわち、対象楽曲と各候補楽曲との各組合せに対応するＨ個の探索経路Ｐ[1]〜Ｐ[H]が特定される。結果解析部３４は、探索経路Ｐ[1]〜Ｐ[H]の各々について評価指標Ｅ[h]を算定する。具体的には、Ｈ個の探索経路Ｐ[1]〜Ｐ[H]の各々について（すなわち対象楽曲と各候補楽曲との組合せ毎に）、分布近似部４２による基準線ＬREFの特定と指標算定部４４による評価指標Ｅ[h]の算定とが実行される。したがって、相異なる候補楽曲に対応するＨ個の評価指標Ｅ[1]〜Ｅ[H]が算定される。

楽曲検索部７２は、Ｈ個の候補楽曲のうち対象楽曲に類似する候補楽曲を、各候補楽曲の評価指標Ｅ[h]（Ｅ[1]〜Ｅ[K]）に応じて選択する。具体的には、楽曲検索部７２は、Ｈ個の候補楽曲のうち評価指標Ｅ[h]が最小となる候補楽曲（すなわち対象楽曲に類似する楽曲）を選択し、その候補楽曲を利用者に報知する。したがって、利用者は、Ｈ個の候補楽曲のうち楽曲構成等が対象楽曲に類似する楽曲を把握することが可能である。なお、Ｈ個の候補楽曲のうち評価指標Ｅ[h]の昇順（小→大）で上位に位置する所定個の候補楽曲を楽曲検索部７２が選択する構成や、Ｈ個の候補楽曲のうち評価指標Ｅ[h]が閾値Ｅthを下回る１個以上の候補楽曲を楽曲検索部７２が選択する構成も採用され得る。

なお、音響信号ＳAと音響信号ＳBとの楽曲構成の異同（類否）を判定する第２実施形態の判定部３６を第４実施形態に追加することも可能である。判定部３６は、Ｈ個の候補楽曲の各々について対象楽曲との楽曲構成の異同（類否）を判定する。そして、楽曲検索部７２は、判定部３６による候補楽曲毎の判定の結果と結果解析部３４が候補楽曲毎に算定した評価指標Ｅ[h]とに応じて、対象楽曲に類似する候補楽曲を選択する。例えば、楽曲検索部７２は、Ｈ個の候補楽曲のうち楽曲構成が対象楽曲に合致または類似すると判定部３６が判定した１個以上の候補楽曲のなかから評価指標Ｅ[h]が最小となる候補楽曲を選択する。したがって、楽曲構成が相違すると判定部３６が判定した候補楽曲は、対象楽曲に類似すると評価できる程度に評価指標Ｅ[h]が小さい場合（すなわち評価指標Ｅ[h]のみで判定した場合には対象楽曲に類似すると評価できる場合）でも対象楽曲とは非類似の楽曲と判定される。なお、楽曲構成が相違すると判定部３６が判定した候補楽曲については結果解析部３４による評価指標Ｅ[h]の算定を省略する（したがって、その候補楽曲は楽曲検索部７２による検索対象から除外される）構成も好適である。

＜Ｅ：変形例＞
以上に例示した各形態には様々な変形が加えられる。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は併合され得る。

（１）変形例１
以上の各形態では、各対応点Ｃ[k]と基準線ＬREFとの間隔Ｄ[k]の自乗和の平方根Ｓに応じて評価指標Ｅを算定したが、評価指標Ｅの算定の方法は適宜に変更される。例えば、Ｋ個の間隔Ｄ[1]〜Ｄ[K]の絶対値の最大値（基準線ＬREFからＹ方向の正側または負側に最も離間した対応点Ｃ[k]に対応する間隔Ｄ[k]の絶対値）に応じて評価指標Ｅを算定することも可能である。例えば、Ｋ個の間隔Ｄ[1]〜Ｄ[K]のうち正数となる各間隔Ｄ[k]の最大値に応じて結果解析部３４（指標算定部４４）が評価指標Ｅを算定する構成が採用され得る。間隔Ｄ[k]が正数である場合（すなわち、対応点Ｃ[k]が基準線ＬREFに対してＹ方向の正側に位置する場合）、音響信号ＳBが音響信号ＳAに先行する（音響信号ＳAが音響信号ＳBに対して遅延する）ことを意味する。したがって、正数の間隔Ｄ[k]が最大値となる地点を、音響信号ＳBが音響信号ＳAに対して最も先行する地点として特定することも可能である。他方、Ｋ個の間隔Ｄ[1]〜Ｄ[K]のうち負数となる各間隔Ｄ[k]の絶対値の最大値（すなわち負数の範囲内での間隔Ｄ[k]の最小値）に応じて結果解析部３４（指標算定部４４）が評価指標Ｅを算定する構成も採用され得る。間隔Ｄ[k]が負数である場合（すなわち、図３の例示のように対応点Ｃ[k]が基準線ＬREFに対してＹ方向の負側に位置する場合）、音響信号ＳAが音響信号ＳBに先行する（音響信号ＳBが音響信号ＳAに対して遅延する）ことを意味する。したがって、負数の間隔Ｄ[k]が最小（絶対値が最大）となる地点を、音響信号ＳAが音響信号ＳBに対して最も先行する地点として特定することも可能である。

また、Ｋ個の対応点Ｃ[1]〜Ｃ[K]が基準線ＬREFから離間した位置に散在するほど探索経路Ｐと基準線ＬREFとの乖離が大きい（同期解析結果の妥当性は低い）という傾向を考慮すると、Ｋ個の間隔Ｄ[1]〜Ｄ[K]の散らばりの度合を示す統計量に応じて評価指標Ｅを算定する構成も採用され得る。間隔Ｄ[1]〜Ｄ[K]の散らばりの度合を示す統計量としては、範囲（最小値と最大値との差分）や分散，標準偏差，標準誤差等が例示される。また、以上に例示した数値（間隔Ｄ[k]の自乗和の平方根Ｓ，Ｋ個の間隔Ｄ[1]〜Ｄ[K]の絶対値の最大値，Ｋ個の間隔Ｄ[1]〜Ｄ[K]の散らばりの度合を示す統計量）を適宜に組合わせて評価指標Ｅを算定する構成も採用され得る。

以上の各形態では各対応点Ｃ[k]と基準線ＬREFとのＹ軸の方向の間隔を間隔Ｄ[k]としたが、Ｘ方向における各対応点Ｃ[k]と基準線ＬREFとの間隔を間隔Ｄ[k]として評価指標Ｅを算定することも可能である。また、以上の説明では、各対応点Ｃ[k]（探索経路Ｐ）と基準線ＬREFとの隔たりが大きいほど評価指標Ｅが大きい数値となる場合を例示したが、同期解析結果の妥当性の高低と評価指標Ｅの大小との関係は任意である。例えば、各対応点Ｃ[k]（探索経路Ｐ）と基準線ＬREFとの隔たりが大きい（同期解析結果の妥当性が低い）ほど評価指標Ｅが小さい数値となるように評価指標Ｅを算定する構成も採用される。

以上の例示から理解されるように、前述の各形態の指標算定部４４は、各対応点Ｃ[k]（探索経路Ｐ）と基準線ＬREFとの隔たり（間隔Ｄ[k]）に応じて評価指標Ｅを算定する要素として包括され、間隔Ｄ[k]と評価指標Ｅとの関係や評価指標Ｅの算定の方法の如何は本発明において不問である。

（２）変形例２
以上の各形態では、音響信号ＳAおよび音響信号ＳBの全区間にわたる対応点Ｃ[k]を対象として評価指標Ｅを算定したが、音響信号ＳA（または音響信号ＳB）の特定区間に対応する複数の対応点Ｃ[k]を対象として分布近似部４２による基準線ＬREFの特定や指標算定部４４による評価指標Ｅの算定を実行する構成も採用される。楽曲の先頭区間（前奏部分）や末尾区間（後奏部分）では音響信号ＳAと音響信号ＳBとが相違する場合が多いという傾向を考慮して、音響信号ＳA（または音響信号ＳB）のうち先頭区間と末尾区間との少なくとも一方を除外した区間を特定区間として、特定区間内の複数の対応点Ｃ[k]から評価指標Ｅを算定する構成が好適である。また、例えば音響信号ＳAおよび音響信号ＳBについて楽曲内のサビ区間を特定区間として選択することも可能である。

（３）変形例３
以上の各形態では、解析平面におけるＫ個の対応点Ｃ[1]〜Ｃ[K]の回帰直線を基準線ＬREFとして特定したが、基準線ＬREFの特定の方法は任意である。例えば、Ｋ個の対応点Ｃ[1]〜Ｃ[K]から選択された２個（例えば対応点Ｃ[1]と対応点Ｃ[K]）を連結する直線を基準線ＬREFとして特定する構成も採用され得る。また、Ｋ個の対応点Ｃ[1]〜Ｃ[K]の分布を近似する曲線（例えば回帰曲線）を基準線ＬREFとして特定することも可能である。以上の説明から理解されるように、基準線ＬREFは、Ｋ個の対応点Ｃ[1]〜Ｃ[K]の分布を近似する線であれば足り、具体的な特定の方法や形状（直線／曲線）は不問である。

（４）変形例４
第３実施形態において音響信号ＳAの再生に同期して表示装置５２に表示させる情報は歌詞に限定されない。例えば、楽曲の楽譜（例えばコード譜やタブ譜）を時系列に指定する楽譜情報を、音響信号ＳAの再生に同期して情報処理部６４が処理することで表示装置５２に楽譜を表示させる構成が採用され得る。楽曲に関連する画像（例えばカラオケの背景画像）を時系列に指定する画像情報を、音響信号ＳAの再生に同期して情報処理部６４が処理することで表示装置５２に画像を表示させる構成も好適である。

また、音響信号ＳAの再生と同期させるべき動作は画像（歌詞，楽譜，背景画像等）の表示に限定されない。具体的には、楽曲の再生に関連する要素の動作を時系列に指示する指示情報の処理（当該要素の制御）を音響信号ＳAの再生と同期させる構成が採用され得る。指示情報は、歌詞情報ＤLと同様に、楽音情報ＤNが指定する楽音の時系列と指示情報による指示の時系列とが時間軸上で相互に対応（同期）するように作成される。例えば、楽曲の再生時における照明機器の動作（明滅や照度）を時系列に指示する指示情報や、効果付与部（エフェクタ）が音響信号ＳAに付加する音響効果の態様（効果の種類や程度）を時系列に指示する指示情報を、前述の各態様における歌詞情報ＤLの代わりに（または歌詞情報ＤLとともに）、音響信号ＳAの再生と同期させる構成が採用され得る。

以上の例示から理解されるように、音響信号ＳAの再生に並行して処理される情報（例えば以上に例示した歌詞情報ＤL，楽譜情報，画像情報，指示情報）は、楽曲に関連する情報を時系列に指定する制御情報として包括される。また、制御情報を処理する要素（例えば前述の各形態における情報処理部６４）は、音響信号ＳAの再生と制御情報の処理とが同期するように同期解析部３２による解析の結果に応じて制御情報を処理する要素として包括される。

（５）変形例５
前述の各形態では、楽曲の楽音を表す音響信号ＳAと音響信号ＳBとの時間的な対応を解析したが、同期解析の対象となる情報系列τA（単位情報ＵA）および情報系列τB（単位情報ＵB）は、音楽的な情報に限定されずに任意に変更される。すなわち、以上の各形態の同期解析は、単位情報ＵAを時系列に配列した情報系列τAと単位情報ＵBを時系列に配列した情報系列τBとの間で各単位情報ＵAと各単位情報ＵBとの時間的な対応（各単位区間ＴA[m]と各単位区間ＴB[n]との対応）を解析する処理として包括され、単位情報ＵAや単位情報ＵBの内容は不問である。

（６）変形例６
以上の各形態では、同期解析部３２と結果解析部３４とを具備する音響処理装置１００（１００A，１００B，１００C，１００D）を例示したが、外部装置の同期解析部３２による同期解析結果（探索経路Ｐ）を評価する情報処理装置（同期解析評価装置）としても本発明は実現される。すなわち、同期解析結果を評価する（評価指標Ｅを算定する）という趣旨からすると、結果解析部３４以外の各要素（第１特徴抽出部２２，第２特徴抽出部２４，同期解析部３２，指標出力部２８，情報処理部６４，信号生成部６２，楽曲検索部７２）は本発明において適宜に省略され得る。

１００A，１００B，１００C，１００D……音響処理装置、１２……演算処理装置、１４……記憶装置、２２……第１特徴抽出部、２４……第２特徴抽出部、２６……解析処理部、２８……指標出力部、３２……同期解析部、３４……結果解析部、３６……判定部、４２……分布近似部、４４……指標算定部、５２……表示装置、５４……信号供給装置、５６……放音装置、６２……信号生成部、６４……情報処理部、７２……楽曲検索部。

Claims

楽曲の楽音を示す第１音響信号の特徴量を示す複数の第１単位情報を時系列に配列した第１情報系列と、楽曲の楽音を示す第２音響信号の特徴量を示す複数の第２単位情報を時系列に配列した第２情報系列との間で前記各第１単位情報と前記各第２単位情報との時間的な対応を解析する同期解析について結果の評価指標を算定する情報処理装置であって、
前記第１情報系列に対応する第１軸と前記第２情報系列に対応する第２軸とで規定される解析平面において、前記同期解析で相互に対応すると判断された前記第１単位情報と前記第２単位情報との組合せ毎の対応点の分布を近似する基準線を特定する分布近似手段と、
前記基準線と前記対応点との隔たりに応じて前記評価指標を算定する指標算定手段と
を具備する情報処理装置。
前記分布近似手段は、複数の前記対応点の回帰直線を前記基準線として特定する
請求項１の情報処理装置。
前記指標算定手段は、前記第１軸および前記第２軸の一方の方向における前記各対応点と前記基準線との間隔の自乗和の平方根と、前記間隔の絶対値の最大値と、複数の対応点の各々に対応する前記間隔の散らばりの度合とのうちの少なくともひとつに応じて前記評価指標を算定する
請求項１または請求項２の情報処理装置。
前記第１情報系列と前記第２情報系列とについて前記同期解析を実行する同期解析手段を具備し、
前記分布近似手段は、前記同期解析手段による同期解析結果から前記基準線を特定する
請求項１から請求項３の何れかの情報処理装置。
楽曲に関連する情報を前記第２音響信号に同期するように時系列に指定する制御情報を記憶する記憶手段と、
前記同期解析手段による同期解析結果の妥当性が高いことを前記評価指標が示す場合には、前記第１音響信号の再生と前記制御情報の処理とが相互に同期するように前記同期解析手段による同期解析結果に応じて前記制御情報を順次に処理し、前記同期解析結果の妥当性が低いことを前記評価指標が示す場合には同期解析の失敗を利用者に報知する情報処理手段と
を具備する請求項４の情報処理装置。