JP5672960B2 - 音響処理装置 - Google Patents

Description

本発明は、楽曲の楽音を示す複数の音響信号の相互間の対応（同期）を解析する技術に関する。

楽曲の制御情報（例えばＭＩＤＩ（Musical Instrument Digital Interface）データ）が時系列に指定する歌詞や楽譜の表示と、例えばＣＤから取得した当該楽曲の音響信号（以下「再生音響信号」という）の再生とを並列に実行すれば、再生音響信号の高音質な伴奏音のもとで歌詞や楽譜を確認しながら歌唱や演奏を練習することが可能である。しかし、時間軸上で相互に同期するようにＭＩＤＩデータと再生音響信号とを作成するという煩雑な作業が必要となる。

そこで、例えば特許文献１には、制御情報に応じた歌詞の表示が再生音響信号の再生に同期するように制御情報を変換する技術が開示されている。具体的には、再生音響信号の再生の総時間と制御情報の再生の総時間との長短に応じて制御情報の処理速度を調整する構成や、再生音響信号における歌唱音の開始点と制御情報の歌詞の開始点とが合致するように制御情報の処理速度を調整する構成が提案されている。

特開２００４−２１２４７３号公報

しかし、特許文献１の技術のもとでは、楽曲の特定の区間（全区間や歌唱区間）の始点や終点にて再生音響信号の再生と歌詞の表示とが同期するに過ぎないから、当該区間の途中の時点では両者の同期が担保されないという問題がある。なお、以上の説明では歌詞の表示を例示したが、歌詞の表示以外の様々な動作を指示する制御情報の処理を再生音響信号の再生に同期させる場合にも同様の問題が発生し得る。以上の事情を考慮して、本発明は、音響信号の再生と制御情報の処理とを高精度に同期させることを目的とする。

以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の要素と後述の実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。

本発明の音響処理装置は、楽曲の楽音を示す第１音響信号（例えば音響信号ＳA）の特徴量を第１単位区間（例えば単位区間ＦA[m]）毎に順次に生成する第１特徴抽出手段（例えば第１特徴抽出部６２）と、楽曲に関連する情報を時系列に指定する制御情報で指定される当該情報の時系列に同期する楽音を示す第２音響信号（例えば音響信号ＳB）の特徴量を第２単位区間（例えば単位区間ＦB[n]）毎に順次に生成する第２特徴抽出手段（例えば第２特徴抽出部６４）と、第１音響信号を再生する再生制御手段（例えば再生制御部４４）と、第１単位区間と第２単位区間との組合せ毎に算定されて特徴量の類否を示す類否指標値（例えば類否指標値Ｃ[m,n]）に応じて、第１単位区間と第２単位区間との対応を示す同期解析情報を、第１音響信号の再生の進行とともに順次に生成する同期解析手段（例えば同期解析部６６）と、第１音響信号の再生と制御情報の処理とが相互に同期するように同期解析情報に応じて制御情報を順次に処理する情報処理手段（例えば情報処理部５８）とを具備する。

以上の構成においては、第１音響信号と第２音響信号とにおいて相対応する時間軸上の位置が第１音響信号の第１単位区間毎の特徴量と第２音響信号の第２単位区間毎の特徴量との類否に応じて解析され、第１音響信号の再生と制御情報の処理とが相互に同期するように解析の結果に応じて制御情報が順次に処理される。したがって、例えば楽曲の全区間や歌唱区間の始点または終点のみで音響信号の再生と歌詞の表示とを同期させる特許文献１の構成と比較すると、第１音響信号の再生と制御情報の処理（例えば歌詞の表示）とを高精度に同期させることが可能である。

本発明の好適な態様の同期解析手段は、第１音響信号を示す第１軸（例えば第１軸ＸA）と第１軸に交差して第２音響信号を示す第２軸（例えば第２軸ＸB）とで規定される探索平面において第１単位区間と第２単位区間との各組合せに対応する解析点（例えば解析点Ｌa）毎に類否指標値を算定する指標算定手段（例えば指標算定部７２）と、類否指標値に応じて各解析点を相互に連結することで探索平面に複数の候補経路（例えば候補経路ＰC）を特定する候補特定手段（例えば候補特定部７４）と、複数の候補経路から確定経路（例えば確定経路ＰF）を選択するとともに当該確定経路に応じた同期解析情報を生成する経路確定手段（例えば経路確定部７６）とを含んで構成される。以上の態様においては、類否指標値に応じて生成された複数の候補経路の何れかが確定経路として選択されるから、複数の候補経路に対して種々の条件を適用して順次に候補を絞込むことで、第１音響信号と第２音響信号との対応を高精度に示す確定経路を特定することが可能である。

本発明の好適な態様の候補特定手段は、探索平面内の基準位置から各解析点までの類否指標値の累積値（例えば累積値Ｄ[m,n]）に応じて複数の候補経路を特定し、経路確定手段は、基準位置から第１軸の方向に第１時間（例えば時間Ｔ1）が経過した時点（例えば時点ＬREF）を通過する基準線（例えば基準線ＲEF）を探索平面に設定し、複数の候補経路のうち基準線との交点に対応する解析点（例えば交点ｐx）までの累積値が最大の類似を示す候補経路において、基準位置から第１軸の方向に第１時間よりも短い第２時間（例えば時間Ｔ2）の区間を確定経路として確定する。以上の態様においては、基準位置から第１時間が経過した時点を通過する基準線と各候補経路との交点での累積値が最大の類似を示す候補経路のうち基準位置から第２時間にわたる区間が確定経路として確定される。したがって、基準位置から第１時間の時点に対応する累積値のみに応じて候補経路を選択する構成や基準位置から第２時間の時点に対応する累積値のみに応じて候補経路を選択する構成と比較して、第１音響信号と第２音響信号との対応を高精度に示す候補経路を選択することが可能である。

本発明の好適な態様の経路確定手段は、確定経路上の各解析点（例えば検出点ＰR[k]）について適否を判定し、適当と判定した各解析点に対応する第１単位区間と第２単位区間とを示す同期解析情報を生成する。以上の態様においては、確定経路の各解析点について適否が判定され、適当と判定された解析点から同期解析情報が生成されるから、確定経路上の全部の解析点が制御情報の処理の進行速度に反映される構成と比較して、第１音響信号の再生と制御情報の処理とを高精度に同期させることが可能である。なお、以上の態様の具体例は例えば第２実施形態として後述される。

本発明の好適な態様の情報処理手段は、第１音響信号の再生位置（例えば位置ｐA1）から所定時間（例えば時間ＴA）が経過した時点（例えば位置ｐA2）に対応する制御情報の目標処理位置（例えば目標処理位置ｐB2）を同期解析情報に応じて特定し、制御情報の処理位置（例えば位置ｐB1）から目標処理位置までの時間と所定時間との比率に応じて第１音響信号の再生速度（例えば再生速度ＶA）に対する制御情報の処理の進行速度（例えば進行速度ＶB）を決定する。以上の態様においては、第１音響信号の再生位置から所定時間が経過した時点に対応する制御情報の目標処理位置が同期解析情報に応じて特定され、目標処理位置に応じて制御情報の処理の進行速度が決定されるから、同期解析情報が示す解析点以外の時点について第１単位区間と第２単位区間との対応を特定することが可能である。したがって、例えば確定経路から不適正な解析点を除外する前述の態様でも、第１音響信号の再生と制御情報の処理とを適切に同期させることが可能である。なお、以上の態様の具体例は例えば第３実施形態として後述される。

以上の各態様における特徴量は、例えばクロマベクトルである。すなわち、第１特徴抽出手段は、第１音響信号のクロマベクトルを順次に生成し、第２特徴抽出手段は、第２音響信号のクロマベクトルを順次に生成する。以上の構成においては、音響信号の和声感の指標となるクロマベクトルが特徴量として生成されるから、例えば第１音響信号の拍点と第２音響信号の拍点とを同期させる構成と比較して、第１音響信号と第２音響信号とで相対応する位置を高精度に特定できるという利点がある。クロマベクトルは、相異なる音名（クロマ）に対応する複数の要素の各々が、音響信号のうち当該要素に対応する音名の成分の強度を複数のオクターブにわたって加算した数値（例えば加算値や平均値）に応じて設定されたベクトル（ピッチクラスプロファイル）を意味する。

以上の各態様に係る音響処理装置は、音響の処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、コンピュータに、楽曲の楽音を示す第１音響信号の特徴量を第１単位区間毎に順次に生成する第１特徴抽出処理と、楽曲に関連する情報を時系列に指定する制御情報で指定される当該情報の時系列に同期する楽音を示す第２音響信号の特徴量を第２単位区間毎に順次に生成する第２特徴抽出処理と、第１音響信号を再生する再生制御処理と、第１単位区間と第２単位区間との組合せ毎に算定されて特徴量の類否を示す類否指標値に応じて、第１単位区間と第２単位区間との対応を示す同期解析情報を、第１音響信号の再生の進行とともに順次に生成する同期解析処理と、第１音響信号の再生と制御情報の処理とが相互に同期するように同期解析情報に応じて制御情報を順次に処理する情報処理とを実行させる。以上のプログラムによれば、本発明に係る音響処理装置と同様の作用および効果が奏される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

なお、以上の説明では、音響信号の再生と制御情報の処理とを同期させる場合を例示したが、前述の特許文献１の問題は、相共通する楽曲の楽音を示す第１音響信号と第２音響信号とを同期させる場合（すなわち、第１音響信号と第２音響信号とで音楽的に対応する地点を探索する場合）にも同様に発生し得る。そこで、本発明の別態様に係る音響処理装置は、楽曲の楽音を示す第１音響信号の特徴量を第１単位区間毎に順次に生成する第１特徴抽出手段（例えば第１特徴抽出部６２）と、楽曲の楽音を示す第２音響信号の特徴量を第２単位区間毎に順次に生成する第２特徴抽出手段（例えば第２特徴抽出部６４）と、第１単位区間と第２単位区間との組合せ毎に算定されて特徴量の類否を示す類否指標値に応じて、第１単位区間と第２単位区間との対応を示す同期解析情報を生成する同期解析手段（例えば同期解析部６６）とを具備する。以上の態様においては、第１音響信号と第２音響信号とを高精度に同期させることが可能である。

第１実施形態に係る音響処理装置のブロック図である。 指標値行列および探索平面の説明図である。 同期解析処理の概略的な説明図である。 候補特定部が各解析点について類否指標値の累積値を算定する処理の説明図である。 候補特定部が特定する複数の候補経路の説明図である。 経路確定部が実行する処理（除去処理，確定処理）の説明図である。 経路確定部が実行する除去処理のうち第１処理の説明図である。 経路確定部が実行する除去処理のうち第２処理の説明図である。 経路確定部が実行する除去処理のうち第３処理の説明図である。 確定経路を選択する確定処理のうち基準線を設定する処理の説明図である。 確定経路を選択する確定処理のうち候補経路を選択する処理の説明図である。 確定経路を選択する確定処理うち確定経路を確定する処理の説明図である。 第２実施形態の経路確定部が実行する処理の説明図である。 経路確定部が確定経路の検出点を除去する処理の説明図である。 第３実施形態の情報処理部が実行する処理の説明図である。 音響信号の再生位置が変更された場合の動作の説明図である。

＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る音響処理装置１００のブロック図である。音響処理装置１００は、楽曲の楽音の再生と楽曲の歌詞の表示とを並列に実行するカラオケ装置として好適に利用される。図１に示すように、音響処理装置１００には、表示装置１２と収音装置１４と放音装置１６と入力装置１８と信号供給装置２０とが接続される。

表示装置１２（例えば液晶表示装置）は、音響処理装置１００からの指示に応じて楽曲の歌詞を表示する。収音装置１４（マイクロホン）は、周囲の音響（歌唱音や楽器の演奏音等）に応じた音響信号ＳVを生成する。なお、音響信号ＳVをデジタルに変換するＡ/Ｄ変換器の図示は省略されている。放音装置１６（例えばスピーカやヘッドホン）は、音響処理装置１００から供給される音響信号ＳOUTに応じた音響を再生する。入力装置１８は、利用者からの指示を受付ける操作子で構成される。

信号供給装置２０は、楽曲の楽音（歌唱音や伴奏音）の波形を示すデジタルの音響信号ＳAを音響処理装置１００に供給する。例えば、半導体記録媒体や光ディスクなどの記録媒体から音響信号ＳAを取得して音響処理装置１００に供給する再生装置（例えば、携帯型の音楽再生装置）や、通信網から音響信号ＳAを受信して音響処理装置１００に出力する通信装置が、信号供給装置２０として好適に採用される。

音響処理装置１００は、演算処理装置３２と記憶装置３４とを具備するコンピュータシステムで実現される。記憶装置３４は、演算処理装置３２が実行するプログラムや演算処理装置３２が使用する各種のデータを記憶する。半導体記録媒体や磁気記録媒体などの公知の記録媒体が記憶装置３４として任意に採用される。なお、音響信号ＳAを記憶装置３４に格納した構成（したがって信号供給装置２０は省略され得る）も採用される。

図１に示すように、記憶装置３４は、相異なる楽曲に対応する複数の楽曲情報Ｄ0を記憶する。例えば通信網（典型的にはインターネット）を介して受信された楽曲情報Ｄ0が記憶装置３４に格納される。楽曲情報Ｄ0は、楽曲を構成する各楽音を時系列に指定する楽音情報ＤNと、楽曲の歌詞（発音文字）を時系列に指定する歌詞情報ＤLとを含んで構成される。例えば、楽音の音高や強度や歌詞を指定するイベントデータと各イベントデータの処理の時点を指定するタイミングデータとを時系列に配列したＭＩＤＩ形式の時系列データが楽曲情報Ｄ0（ＤN，ＤL）として好適に採用される。

楽音情報ＤNが指定する各楽音の時系列と歌詞情報ＤLが指定する歌詞の時系列とが時間軸上で相互に対応（同期）するように楽音情報ＤNと歌詞情報ＤLとは作成される。他方、楽曲情報Ｄ0の楽曲と音響信号ＳAの楽曲とは共通し得るが、楽曲情報Ｄ0と音響信号ＳAとは別個に作成されるから、楽音情報ＤNが示す楽音の時系列や歌詞情報ＤLが示す歌詞の時系列は、音響信号ＳAが示す楽音の波形とは完全には同期しない。すなわち、楽曲中の各楽音の発生の時点は楽曲情報Ｄ0と音響信号ＳAとで相違し得る。

演算処理装置３２は、記憶装置３４に記憶されたプログラムを実行することで、音響信号ＳAの再生（楽曲のストリーミング再生）と歌詞情報ＤLが指定する歌詞の表示とを同期させるための複数の機能（第１保持部４２，再生制御部４４，出力処理部４６，信号生成部５２，第２保持部５４，解析処理部５６，情報処理部５８）を実現する。したがって、音響処理装置１００の利用者は、音響信号ＳAの再生音（楽音情報ＤNから再生される楽音と比較して一般的には高音質な楽音）のもとで歌詞を確認しながら歌唱することが可能である。なお、演算処理装置３２の各機能を複数の集積回路に分散した構成や、専用の電子回路（ＤＳＰ）が各機能を実現する構成も採用され得る。

入力装置１８の操作で利用者が指定した楽曲の音響信号ＳAが信号供給装置２０から第１保持部４２に供給される。第１保持部４２は、信号供給装置２０から供給される音響信号ＳAを順次に取得および保持するバッファ回路である。図２に示すように、音響信号ＳAを時間軸上で区分した複数の単位区間（フレーム）ＦAがＭ個毎（ＦA[1]〜ＦA[M]）に第１保持部４２に順次に格納および更新される（Ｍは自然数）。

再生制御部４４は、第１保持部４２に保持された音響信号ＳAを出力処理部４６に順次に供給する。出力処理部４６は、再生制御部４４から供給される音響信号ＳAと収音装置１４から供給される音響信号ＳVとを混合したうえでアナログの音響信号ＳOUTに変換して放音装置１６に供給する。すなわち、音響信号ＳAに応じた音響が、収音装置１４で収音された利用者の歌唱音や楽器の演奏音とともに再生（ストリーミング再生）される。再生制御部４４は、音響信号ＳAのうち現在の再生の時点（以下「再生位置」という）を所定の周期（例えば200ms）で解析処理部５６に通知する。再生位置は楽曲の再生とともに刻々と進行する。なお、音響信号ＳAのうち特定の成分（例えば歌唱音）を再生制御部４４が抑制する構成も好適である。特定の成分の抑制には公知の技術（マイナスワン処理）が任意に採用される。

信号生成部５２は、利用者が指定した楽曲の楽曲情報Ｄ0のうち楽音情報ＤNが時系列に指定する楽音の波形を表す音響信号ＳBを生成する。具体的には、楽音情報ＤNのイベントデータが指定する楽音の波形を順次に生成する公知の音源（ＭＩＤＩ音源）が信号生成部５２として好適に採用される。音響信号ＳBが表す楽音の波形は歌詞情報ＤLが指定する歌詞の時系列に同期する。すなわち、音響信号ＳBを再生したときに各楽音が発声する時点と、当該楽音の発声の時点で歌唱すべき歌詞を歌詞情報ＤLが指定する時点とは時間軸上で対応（理想的には合致）する。

第２保持部５４は、信号生成部５２が生成する音響信号ＳBを順次に取得および保持するバッファ回路である。図２に示すように、音響信号ＳBを時間軸上で区分した複数の単位区間（フレーム）ＦBがＮ個毎（ＦB[1]〜ＦB[N]）に第２保持部５４に順次に格納および更新される（Ｎは自然数）。なお、各単位区間ＦA[m]（ｍ＝１〜Ｍ）と各単位区間ＦB[n]（ｎ＝１〜Ｎ）との時間長や個数の異同は不問である。

図１の解析処理部５６は、第１保持部４２に保持された音響信号ＳAと第２保持部５４に保持された音響信号ＳBとの時間的な対応を解析するとともに各単位区間ＦA[m]と各単位区間ＦB[n]との時間的な対応を示す同期解析情報Ｒを生成する。すなわち、同期解析情報Ｒは、音響信号ＳAと音響信号ＳBとの間で音楽的に相互に対応する時点（例えば楽曲内の共通の楽音）の各単位区間ＦA[m]と各単位区間ＦB[n]とを対応させる情報である。

情報処理部５８は、楽曲情報Ｄ0の歌詞情報ＤLが指定する歌詞を表示装置１２に順次に表示させる。情報処理部５８は、再生制御部４４による音響信号ＳAの再生に同期するように歌詞情報ＤLの処理（表示装置１２に対する表示の指示）の進行速度を可変に設定する。具体的には、同期解析情報Ｒにて各単位区間ＦA[m]に対応付けられた単位区間ＦB[n]の歌詞が、音響信号ＳAのうち当該単位区間ＦA[m]が再生される時点で表示装置１２に表示されるように、情報処理部５８は各歌詞情報ＤLの処理の進行速度を制御する。

解析処理部５６の具体的な構成および動作を以下に詳述する。図１に示すように、解析処理部５６は、第１特徴抽出部６２と第２特徴抽出部６４と同期解析部６６とを含んで構成される。第１特徴抽出部６２は、第１保持部４２が保持する音響信号ＳAの特徴量ΨAを単位区間ＦA[m]毎に順次に算定する。第２特徴抽出部６４は、第２保持部５４が保持する音響信号ＳBの単位区間ＦB[n]毎に特徴量ΨAと同種の特徴量ΨBを順次に算定する。

第１実施形態の特徴量ΨAおよび特徴量ΨBはクロマベクトル（ピッチクラスプロファイル（ＰＣＰ：pitch class profile））である。クロマベクトルは、音響の和声感（ハーモニー感）の指標となる特徴量であり、相異なる音名（Ｃ，Ｃ#，Ｄ，Ｄ#，Ｅ，Ｆ，Ｆ#，Ｇ，Ｇ#，Ａ，Ａ#，Ｂ）に対応する１２次元のベクトルで表現される。クロマベクトルを構成する１２個の要素の各々は、音響信号（ＳA，ＳB）のうち当該要素に対応する音名（クロマ）の周波数成分（１オクターブに相当する周波数帯域を音名毎に区分した１２個の周波数帯域のうち当該音名に対応する周波数帯域の成分）の強度を複数のオクターブについて加算または平均した数値に相当する。すなわち、第１特徴抽出部６２は、短時間フーリエ変換等の公知の周波数分析で音響信号ＳAの単位区間ＦA[m]毎に周波数スペクトルを生成し、周波数スペクトルのうち１オクターブに相当する周波数帯域を複数のオクターブについて加算したクロマベクトルを特徴量ΨAとして算定する。第２特徴抽出部６４が音響信号ＳBの単位区間ＦB[n]毎に特徴量ΨBを算定する手順も同様である。

図１の同期解析部６６は、再生制御部４４による音響信号ＳAの再生に並行して同期解析処理を順次に実行する。同期解析処理は、音響信号ＳAのＭ個の単位区間ＦAの特徴量ΨAと音響信号ＳBのＮ個の単位区間ＦBの特徴量ΨBとの類否（相関）を解析することで、音響信号ＳAの各単位区間ＦA[m]と音響信号ＳBの各単位区間ＦB[n]との時間的な対応を特定する処理である。図１に示すように、同期解析部６６は、指標算定部７２と候補特定部７４と経路確定部７６とを含んで構成される。

指標算定部７２は、音響信号ＳAのＭ個の単位区間ＦA[1]〜ＦA[M]と音響信号ＳBのＮ個の単位区間ＦB[1]〜ＦB[N]との各々から単位区間ＦA[m]および単位区間ＦB[n]を選択する全通りの組合せについて、単位区間ＦA[m]の特徴量ΨAと単位区間ＦB[n]の特徴量ΨBとの類否（相関）の指標となる類否指標値（コスト関数）Ｃ[m,n]を算定する。第１実施形態の類否指標値Ｃ[m,n]は、特徴量ΨAと特徴量ΨBとの内積である。したがって、単位区間ＦA[m]の特徴量ΨAと単位区間ＦB[n]の特徴量ΨBとの類似度（相関）が高いほど類否指標値Ｃ[m,n]は小さい数値となる。ただし、例えば特徴量ΨAと特徴量ΨBとの幾何距離（ユークリッド距離）を類否指標値Ｃ[m,n]として算定する構成も採用され得る。

図２に示すように、音響信号ＳAの時間軸（各単位区間ＦA[m]の時系列）に相当する第１軸（縦軸）ＸAと音響信号ＳBの時間軸（各単位区間ＦB[n]の時系列）に相当する第２軸（横軸）ＸBとで規定される平面（以下「探索平面」という）を想定すると、探索平面のうち単位区間ＦA[m]と単位区間ＦB[n]との各組合せに対応する格子点（以下「解析点」という）Ｌa毎に類否指標値Ｃ[m,n]（Ｃ[1,1]〜Ｃ[M,N]）を配置したＭ行×Ｎ列の指標値行列（コストマトリクス）σが生成される。楽曲情報Ｄ0の楽音情報ＤNと歌詞情報ＤLとは相互に同期するから、楽音情報ＤNから生成された音響信号ＳBの時間軸に相当する第２軸ＸBは、歌詞情報ＤLの処理の進行を示す時間軸としても把握される。

図１の候補特定部７４と経路確定部７６とは、指標算定部７２が算定した類否指標値Ｃ[m,n]（指標値行列σ）を利用して音響信号ＳAの各単位区間ＦA[m]と音響信号ＳBの各単位区間ＦB[n]との時間的な対応を解析し、解析の結果（単位区間ＦA[m]と単位区間ＦB[n]との対応）を示す同期解析情報Ｒを生成する。

各単位区間ＦA[m]と各単位区間ＦB[n]との時間的な対応は、探索平面（ＤＰ平面）上で相隣接する各解析点Ｌa（相対応する単位区間ＦA[m]と単位区間ＦB[n]とに対応する解析点Ｌa）を連結した経路として表現される。したがって、候補特定部７４および経路確定部７６は、探索平面上の１個の経路（以下「確定経路」という）ＰFを探索する要素として機能し、候補特定部７４および経路確定部７６が生成する同期解析情報Ｒは、探索平面上の確定経路ＰFを表現する情報として把握される。単位区間ＦA[m]と単位区間ＦB[n]との対応（確定経路ＰF）の解析には動的計画法（ＤＰ：Dynamic programming）マッチング（ＤＴＷ：Dynamic Time Warping）を応用した以下の方法が好適に採用される。

図３は、同期解析部６６が実行する同期解析処理の概略的な説明図である。図３の同期解析処理は所定の周期で順次に反復される。例えば、再生制御部４４から音響信号ＳAの再生位置が通知されるたびに同期解析処理が実行される。

同期解析処理を開始すると、指標算定部７２は、探索平面内の基準位置Ｌ0を基点（第１行第１列の解析点Ｌa[1,1]）とする指標値行列σを生成する（Ｓ11）。すなわち、音響信号ＳAのうち基準位置Ｌ0に後続するＭ個の単位区間ＦA[1]〜ＦA[M]と音響信号ＳBのうち基準位置Ｌ0に後続するＮ個の単位区間ＦB[1]〜ＦB[N]とからＭ行×Ｎ列の指標値行列σ（Ｃ[1,1]〜Ｃ[M,N]）が算定される。基準位置Ｌ0は、同期解析処理の開始時における音響信号ＳAの再生位置と当該再生位置に対応する音響信号ＳBの位置（歌詞情報ＤLの処理位置）とに対応する探索平面内の地点である。具体的には、第１回目の同期解析処理では音響信号ＳAの始点と音響信号ＳBの始点とに対応する地点が基準位置Ｌ0に設定され、第２回目以降の同期解析処理では、直前の同期解析処理で特定された確定経路ＰFのうち現段階での音響信号ＳAの再生位置に対応する地点が基準位置Ｌ0に設定される。

候補特定部７４および経路確定部７６は、処理Ｓ11で生成された指標値行列σの解析で確定経路ＰFを特定する（Ｓ12，Ｓ13）。具体的には、候補特定部７４は、基準位置Ｌ0を基点とする複数の候補経路ＰCを指標値行列σの各類否指標値Ｃ[m,n]に応じて生成し（Ｓ12）、経路確定部７６は、候補特定部７４が特定した複数の候補経路ＰCの何れかを確定経路ＰFとして確定するとともに当該確定経路ＰFに応じた同期解析情報Ｒを生成する（Ｓ13）。

以上に概説した同期解析処理が音響信号ＳAの再生に並行して順次に実行されることで単位区間ＦA[m]と単位区間ＦB[n]との対応が楽曲の全体について順次に特定される。候補特定部７４が複数の候補経路ＰCを特定する処理Ｓ12と経路確定部７６が確定経路ＰFを確定する処理Ｓ13とについて以下に詳述する。

＜候補特定部７４の処理＞
候補特定部７４は、基準位置Ｌ0から探索平面内の各解析点Ｌa（Ｍ行×Ｎ列）までの類否指標値Ｃ[m,n]の累積値Ｄ[m,n]に応じて、基準位置Ｌ0を始点とする複数の候補経路ＰCを特定する。具体的には、第１軸ＸAおよび第２軸ＸBの何れの方向にも時間的に遡及しないという条件（単調性）と解析点Ｌaを飛越えないという条件（連続性）とのもとで類否指標値Ｃ[m,n]の累積値Ｄ[m,n]が最小となるように候補特定部７４は複数の候補経路ＰCを特定する。

前述の単調性および連続性の条件から、第ｍ行第ｎ列に位置する解析点（以下「着目解析点」という）Ｌa[m,n]の直前に位置し得るのは、図４に示すように、第１軸ＸAの方向に隣接する解析点Ｌa[m-1,n]と、第２軸ＸBの方向に隣接する解析点Ｌa[m,n-1]と、第１軸ＸAおよび第２軸ＸBに傾斜する方向に隣接する解析点Ｌa[m-1,n-1]との３個である。候補特定部７４は、着目解析点Ｌa[m,n]に隣接する３個の解析点Ｌa（Ｌa[m-1,n]，Ｌa[m,n-1]，Ｌa[m-1,n-1]）の各々について以下の数式(1a)〜(1c)の累積値ｄ（ｄ[m-1,n]，ｄ[m,n-1]，ｄ[m-1,n-1]）を算定する。
ｄ[m-1,n]＝Ｄ[m-1,n]＋ωv・Ｃ[m,n] ……(1a)
ｄ[m,n-1]＝Ｄ[m,n-1]＋ωh・Ｃ[m,n] ……(1b)
ｄ[m-1,n-1]＝Ｄ[m-1,n-1]＋ωd・Ｃ[m,n] ……(1c)

数式(1a)〜(1c)から理解されるように、各解析点Ｌaに対応する累積値ｄは、着目解析点Ｌa[m,n]の類否指標値Ｃ[m,n]に加重値（ωv，ωh，ωd）を乗算して自身の累積値Ｄ（Ｄ[m-1,n]，Ｄ[m,n-1]，Ｄ[m-1,n-1]）に加算した数値である。解析点Ｌa[m-1,n-1]の加重値ωdは、解析点Ｌa[m-1,n]の加重値ωvおよび解析点Ｌa[m,n-1]の加重値ωhと比較して大きい数値に設定される（例えばωv＝ωh＝１，ωd＝２）。

候補特定部７４は、以下の数式(2)で表現されるように、着目解析点Ｌa[m,n]に隣接する各解析点Ｌaの３個の累積値ｄ（ｄ[m-1,n]，ｄ[m,n-1]，ｄ[m-1,n-1]）なかの最小値を着目解析点Ｌa[m,n]の累積値Ｄ[m,n]として選択し、累積値ｄが最小となる１個の解析点Ｌaに着目解析点Ｌa[m,n]を連結する。探索平面内の各解析点Ｌa（Ｌa[1,1]〜Ｌa[M,N]）について以上の処理が実行されることで、図５に例示するように、累積値Ｄ[m,n]が小さい複数の候補経路ＰC（すなわち、特徴量ΨAと特徴量ΨBとが類似する単位区間ＦA[m]と単位区間ＦB[n]との対応を示す複数の経路）が探索平面内に特定される。
Ｄ[m,n]＝min｛ｄ[m-1,n]，ｄ[m,n-1]ｄ[m-1,n-1]｝ ……(2)

＜経路確定部７６の処理＞
図６は、経路確定部７６が実行する処理Ｓ13の説明図である。図６に示すように、処理Ｓ13は、除外処理Ｓ20と確定処理Ｓ30とを含んで構成される。除外処理Ｓ20（Ｓ21〜Ｓ23）は、候補特定部７４が特定した複数の候補経路ＰCのうち確定経路ＰFとして選択される可能性が低い候補経路ＰCを確定経路ＰFの候補から除外する処理である。確定処理Ｓ30は、除外処理Ｓ20の実行後に残存する複数の候補経路ＰCから１個の確定経路ＰFを確定する処理（Ｓ31〜Ｓ34）である。除外処理Ｓ20は、第１処理Ｓ21と第２処理Ｓ22と第３処理Ｓ23とを含んで構成される。

確定経路ＰFは、基準位置Ｌ0（解析点Ｌa[1,1]）から途中で途切れずに連続する必要がある。そこで、経路確定部７６は、図７に示すように、前述の数式(2)で表現される演算で何れの着目解析点Ｌa[m,n]からも選択されない解析点Ｌa（図７の黒丸で図示された解析点Ｌa）を通過する候補経路ＰC（すなわち、途中で終端する候補経路ＰC）を除外する（Ｓ21）。

また、音響信号ＳAおよび音響信号ＳBが示す楽曲は共通するから、第１軸ＸAの方向に連続する多数の単位区間ＦA[m]が音響信号ＳBの１個の単位区間ＦB[n]に対応する可能性や、第２軸ＸBの方向に連続する多数の単位区間ＦB[n]が音響信号ＳAの１個の単位区間ＦA[m]に対応する可能性は低い。そこで、経路確定部７６は、第１軸ＸAまたは第２軸ＸBの方向に過度に長く連続して延在する区間を含む候補経路ＰCを除外する（Ｓ22）。具体的には、図８に示すように、音響信号ＳAのうち所定値を上回る個数にわたって連続する単位区間ＦA[m]を１個の単位区間ＦB[n]に対応させる候補経路ＰC（すなわち、第１軸ＸAの方向に過度に長く延在する区間を含む候補経路ＰC）が除外される。同様に、音響信号ＳBのうち所定値を上回る個数にわたって連続する単位区間ＦB[n]を１個の単位区間ＦA[m]に対応させる候補経路ＰC（すなわち、第２軸ＸBの方向に過度に長く延在する区間を含む候補経路ＰC）が除外される。

音響信号ＳAおよび音響信号ＳBが示す楽曲は共通するから、単位区間ＦA[m]と単位区間ＦB[n]との対応が過去の確定経路ＰFから過度に逸脱する可能性は低い。そこで、経路確定部７６は、図９に示すように、過去の確定経路ＰFに応じて探索平面に設定された範囲ＡLの外側を通過する候補経路ＰCを除外する（Ｓ23）。範囲ＡLは、例えば過去の確定経路ＰFに近似する直線（例えば過去の確定経路ＰFの平均的な傾斜と同等の傾斜で基準位置Ｌ0を通過する直線）に沿う帯状の領域である。

以上に説明した除外処理Ｓ20の実行後に確定処理Ｓ30（Ｓ31〜Ｓ34）が開始される。確定処理Ｓ30を開始すると、経路確定部７６は、図１０に示すように、基準位置Ｌ0から第１軸ＸAの方向に時間Ｔ1だけ経過した時点ＬREFを通過する基準線ＲEFを探索平面内に設定する（Ｓ31）。基準線ＲEFは、探索平面内に規定される基準傾斜ＳL0の方向に交差（典型的には直交）する直線である。基準傾斜ＳL0は、例えば第１軸ＸAまたは第２軸ＸBに対する過去の確定経路ＰF（例えば直前の同期解析処理で特定された確定経路ＰF）の平均的な勾配（傾き）に相当し、例えば、過去の確定経路ＰF上で相前後する２個の解析点Ｌa間の傾斜（第１軸ＸAまたは第２軸ＸBとの角度）を当該確定経路ＰFの全体にわたって平均することで算定される。なお、基準傾斜ＳL0を所定値（例えば45°）に固定した構成も採用され得る。

経路確定部７６は、除外処理Ｓ20の実行後の複数の候補経路ＰCの各々と処理Ｓ31で設定した基準線ＲEFとの交点ｐx（解析点Ｌa）を特定し、図１１に示すように、複数の候補経路ＰCのうち累積値Ｄ[m,n]が最小となる交点ｐxを通過する候補経路ＰCを選択経路ＰF0として選択する（Ｓ32）。すなわち、探索平面内の基準線ＲEFの時点で単位区間ＦA[m]と単位区間ＦB[n]との相関が最大となる１個の候補経路ＰCが選択経路ＰF0として選択される。

経路確定部７６は、図１２に示すように、処理Ｓ32で選択した選択経路ＰF0のうち基準位置Ｌ0から第１軸ＸAの方向に時間Ｔ2にわたる区間を確定経路ＰFとして確定する（Ｓ33）。時間Ｔ2は、基準線ＲEFを規定する前述の時間Ｔ1よりも短い時間に設定される。すなわち、選択経路ＰF0のうち基準位置Ｌ0側に位置する一部分が確定経路ＰFとして特定される。以下の説明では、探索平面内の複数の解析点Ｌaのうち確定経路ＰFの線上のＫ個の解析点Ｌaを「検出点ＰR[1]〜ＰR[K]」と表記する。確定経路ＰF上の検出点ＰR[k]（ｋ＝１〜Ｋ）の個数Ｋは、音響信号ＳAと音響信号ＳBとの時間的な対応に応じて変化する。

経路確定部７６は、処理Ｓ33で確定した確定経路ＰFを示す同期解析情報Ｒを生成する（Ｓ34）。同期解析情報Ｒは、確定経路ＰF上の相異なる検出点ＰR[k]に対応するＫ個の単位情報ｒ[1]〜ｒ[K]の系列である。各単位情報ｒ[k]は、確定経路ＰF上の第ｋ番目の検出点ＰR[k]に対応する単位区間ＦA[m]と単位区間ＦB[n]との各々の識別子（例えば番号）を含んで構成される。以上が図３の処理Ｓ13の内容である。情報処理部５８は、音響信号ＳAのうち各単位情報ｒ[k]が示す単位区間ＦA[m]が再生される時点で、楽曲情報Ｄ0のうち当該単位情報ｒ[k]が示す単位区間ＦB[n]に対応する歌詞情報ＤLを表示装置１２に供給する。したがって、音響信号ＳAの再生に同期するように歌詞情報ＤLの歌詞が表示装置１２に表示される。

以上に説明した第１実施形態では、音響信号ＳAの各単位区間ＦA[m]と音響信号ＳBの各単位区間ＦB[n]との音楽的な類否に応じて単位区間ＦA[m]と単位区間ＦB[n]との対応が解析され、音響信号ＳAの再生に対する歌詞情報ＤLの処理の進行速度が解析の結果に応じて制御される。したがって、例えば楽曲の全区間や歌唱区間の始点または終点のみで音響信号ＳAの再生と歌詞の表示とを同期させる構成（例えば特許文献１）と比較すると、例えば楽曲の途中で音響信号ＳAと楽曲情報Ｄ0との同期が外れる場合でも、音響信号ＳAの再生と歌詞の表示とを高精度に同期させることが可能である。

ところで、音響信号ＳAの再生と歌詞の表示とを同期させる方法としては、例えば、音響信号ＳAの拍点と音響信号ＳBの拍点とを時間軸上で相互に対応させる方法も想定され得る。しかし、拍点を利用する構成では、例えば音響信号ＳAまたは音響信号ＳBの拍点の検出漏れに起因して音響信号ＳAの再生と歌詞の表示とがずれた場合（例えば音響信号ＳAの再生に対して１拍分だけ歌詞の表示が遅延する場合）に、両者間の同期を回復することが困難であるという問題がある。第１実施形態では、和声感の指標となるクロマベクトル（ΨA，ΨB）の比較の結果に応じて音響信号ＳAの再生と歌詞の表示との同期が確保されるから、両者間の同期が外れる可能性が低く、仮に何らかの事情で同期が外れた場合でも速やかに同期を回復することが可能である。

また、第１実施形態では、音響信号ＳAの現在の再生位置に相当する基準位置Ｌ0から時間Ｔ1だけ将来の時点ＬREFにおける各候補経路ＰCの累積値Ｄ[m,n]に応じて選択経路ＰF0（確定経路ＰF）が特定されるから、基準位置Ｌ0から時間Ｔ2だけ経過した時点に着目して確定経路ＰFを選定する構成と比較すると、長期的にみて妥当性が高い確定経路ＰFを特定できるという利点がある。もっとも、基準線ＲEFの時点で累積値Ｄ[m,n]が小さい候補経路ＰCが必ず適正であるとは断定できない。第１実施形態では、選択経路ＰF0のうち時間Ｔ1よりも短い時間Ｔ2の区間が確定経路ＰFとして確定されるから、基準位置Ｌ0から時間Ｔ1が経過した時点での累積値Ｄ[m,n]のみから確定経路ＰFを確定する構成（処理Ｓ33を省略した構成）と比較して、適正な確定経路ＰFを特定できる可能性が高いという利点がある。

＜Ｂ：第２実施形態＞
本発明の第２実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。

図１３は、第２実施形態における経路確定部７６の動作の説明図である。図１３に示すように、第２実施形態の経路確定部７６は、確定経路ＰFを確定する前述の処理Ｓ33の実行後（同期解析情報Ｒを生成する処理Ｓ34の実行前）に、確定経路ＰF上のＫ個の検出点ＰR[1]〜ＰR[K]から不適正な検出点ＰR[k]を除外する処理Ｓ40を実行する。具体的には、経路確定部７６は、直前の処理Ｓ33で確定した確定経路ＰF上のＫ個の検出点ＰR[1]〜ＰR[K]のうち過去の確定経路ＰF（以下「基準経路ＰF_REF」という）から過度に逸脱する検出点ＰR[k]を除外する。基準経路ＰF_REFは、例えば前回の同期解析処理（図３）で確定済の確定経路ＰFである。

処理Ｓ40を開始すると、経路確定部７６は、図１４に示すように基準経路ＰF_REFの傾斜ＳL_REFを算定する（Ｓ41）。傾斜ＳL_REFは、探索平面における基準経路ＰF_REFの平均的な勾配（傾き）を意味し、例えば、基準経路ＰF_REFにおいて相前後する２個の検出点ＰR間の傾斜を、基準経路ＰF_REFのうち現段階の基準位置Ｌ0を終点とするＨa個の検出点ＰR[1]〜ＰR[Ha]について平均した数値である。

経路確定部７６は、直前の処理Ｓ33で確定した確定経路ＰFのＫ個の検出点ＰR[1]〜ＰR[K]のうち１個の検出点ＰR[k]（以下では特に「選択検出点ＰR_SEL」という）を選択し（Ｓ42）、確定経路ＰFのうち選択検出点ＰR_SELの近傍での傾斜ＳLxを算定する（Ｓ43）。傾斜ＳLxは、確定経路ＰF上の各検出点ＰR[k]と当該検出点ＰR[k]からγ個（γは自然数）だけ手前の検出点ＰR[k-γ]とを通過する直線の傾斜を、図１４に示すように、選択検出点ＰR_SELを含むＨb個の検出点ＰR[k]（例えば選択検出点ＰR_SELの前方および後方に位置する検出点ＰR[k]）について平均した数値である。

傾斜ＳLxに反映される検出点ＰR[k]の個数Ｈbは、基準経路ＰF_REFの傾斜ＳL_REFに反映される検出点ＰR[1]〜ＰR[Ha]の個数Ｈaを充分に下回る（Ｈb＜Ｈa）。したがって、傾斜ＳL_REFは過去の大局的（長期的）な確定経路ＰFの傾斜に相当し、傾斜ＳLxは選択検出点ＰR_SELの近傍の局所的（短期的）な確定経路ＰFの傾斜に相当する。

経路確定部７６は、処理Ｓ41で算定した傾斜ＳL_REFと処理Ｓ43で算定した傾斜ＳLxとに応じて選択検出点ＰR[k]の適否（すなわち、今回の確定経路ＰFのうち選択検出点ＰR_SELの近傍での傾斜ＳLxが過去の確定経路ＰFの平均的な傾斜ＳL_REFから乖離するか否か）を判定する（Ｓ44）。具体的には、経路確定部７６は、傾斜ＳL_REFに対する傾斜ＳLxの相対比(ＳLx／ＳL_REF)が所定の範囲（例えば0.8以上1.2以下）内の数値に該当するか否かに応じて選択検出点ＰR[k]の適否を判定する。

処理Ｓ44の判定の結果が否定である場合（すなわち選択検出点ＰR[k]の近傍での傾斜ＳLxが過去の平均的な傾斜ＳL_REFから乖離する場合）、経路確定部７６は、現在の選択検出点ＰR_SELを不適正と判定して確定経路ＰFから除外する（Ｓ45）。他方、処理Ｓ44の判定の結果が肯定である場合（相対比(ＳLx／ＳL_REF)が所定の範囲内にある場合）には処理Ｓ45が実行されない。すなわち、選択検出点ＰR_SELは適正な検出点ＰR[k]として維持される。なお、選択検出点ＰR[k]の適否を判定する方法は以上の例示に限定されない。例えば、傾斜ＳL_REFと傾斜ＳLxとの差分の絶対値|ＳL_REF−ＳLx|が所定の閾値ＳL_THを上回るか否かを判定し、閾値ＳL_THを上回る場合（傾斜ＳLxが傾斜ＳL_REFから乖離する場合）に選択検出点ＰR_SELを不適正と判定する構成も採用され得る。

経路確定部７６は、直前の処理Ｓ33で確定した確定経路ＰFのＫ個の検出点ＰR[1]〜ＰR[K]の各々を順次に選択検出点ＰR_SELとして選択（Ｓ42）して処理Ｓ43〜Ｓ45を実行する（Ｓ46：NO）。そして、確定経路ＰF上のＫ個の検出点ＰR[1]〜ＰR[K]について以上の処理が完了すると（Ｓ46：YES）、経路確定部７６は、確定経路ＰFのＫ個の検出点ＰR[1]〜ＰR[K]のうち処理Ｓ45で適切と判定したＧ個（Ｇ≦Ｋ）の各検出点ＰR[1]〜ＰR[G]（すなわち処理Ｓ45で除外されなかった検出点ＰR[k]）の各々について単位情報ｒ[1]〜ｒ[G]を含む同期解析情報Ｒを生成する（Ｓ34）。以後の動作は第１実施形態と同様である。

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、確定経路ＰFのＫ個の検出点ＰR[1]〜ＰR[K]のうち不適正な検出点ＰR[k]（具体的には過去の確定経路ＰFの傾向から過度に逸脱する検出点ＰR[k]）が除外されるから、確定経路ＰFの全部の検出点ＰR[1]〜ＰR[K]が歌詞情報ＤLの処理の進行速度に反映される第１実施形態と比較して、音響信号ＳAの再生と歌詞の表示とを高精度に同期させることが可能である。

なお、以上の例示では、過去の確定経路ＰFを基準経路ＰF_REFとして傾斜ＳL_REFを算定したが、傾斜ＳL_REFの算定の方法は任意である。例えば、選択検出点ＰR_SELから計数して過去のＨa個にわたる検出点ＰRについて平均的な傾斜ＳL_REFを算定する構成や、傾斜ＳL_REFを所定値に固定した構成も採用され得る。

＜Ｃ：第３実施形態＞
第２実施形態では確定経路ＰFのうち不適正な検出点ＰR[k]が除外される。したがって、確定経路ＰF上のＫ個の検出点ＰR[1]〜ＰR[K]のうち適正と判定された検出点ＰR[k]についてのみ単位区間ＦA[m]と単位区間ＦB[n]との対応が情報処理部５８に通知される。すなわち、単位区間ＦA[m]と単位区間ＦB[n]との対応が時間的に飛び飛びに通知される。以上の事情を考慮して、第３実施形態の情報処理部５８は、同期解析情報Ｒの各単位情報ｒ[g]（ｇ＝１〜Ｇ）を補間して歌詞情報ＤLの処理の進行速度を可変に設定する。

図１５は、第３実施形態の情報処理部５８の動作の説明図である。図１５の基準位置Ｌ0は、音響信号ＳAの現時点の再生位置ｐA1と当該再生位置ｐA1に対応する音響信号ＳBの位置（すなわち歌詞情報ＤLの処理位置）ｐB1とで規定される探索平面内の地点である。情報処理部５８は、音響信号ＳAの現段階の再生位置ｐA1から所定の時間ＴAが経過した位置ｐA2を設定する。図１５には、図１３の処理Ｓ40の実行後（不適正な検出点ＰR[k]の除去後）のＧ個の検出点ＰR[1]〜ＰR[G]のうち、第１軸ＸAの方向に位置ｐA2を挟んで相前後する検出点ＰR[g]および検出点ＰR[g+1]が図示されている。すなわち、検出点ＰR[g]は、音響信号ＳAのうち位置ｐA2の直前の単位区間ＦA[m]に対応し、検出点ＰR[g+1]は、音響信号ＳAのうち位置ｐA2の直後の単位区間ＦA[m]に対応する。

情報処理部５８は、図１５に示すように、音響信号ＳBのうち音響信号ＳAの位置ｐA2に対応する位置（以下「目標処理位置」という）ｐB2を同期解析情報Ｒ（検出点ＰR[g]の単位情報ｒ[g]および検出点ＰR[g+1]の単位情報ｒ[g+1]）に応じて特定する。具体的には、情報処理部５８は、検出点ＰR[g]と検出点ＰR[g+1]とを通過する直線Ｌのうち第１軸ＸA上の位置ｐA2に対応する位置ｐABを特定し、直線Ｌ上の位置ｐABに対応する第２軸ＸBの位置を目標処理位置ｐB2として決定する。

情報処理部５８は、音響信号ＳAの位置ｐA2が再生される時点で音響信号ＳBの位置ｐB2に対応する歌詞情報ＤLの歌詞が表示装置１２に表示されるように、楽曲情報Ｄ0の各歌詞情報ＤLを順次に表示装置１２に供給する。具体的には、再生制御部４４による音響信号ＳAの再生速度ＶAに対する歌詞情報ＤLの進行速度（テンポ）ＶBの比率が以下の数式(3)で表現される速度比率ＲVとなるように、情報処理部５８は、音響信号ＳBの時点ｐB1から時点ｐB2までの区間に対応する歌詞情報ＤLを順次に処理（表示装置１２に供給）する。
ＲV＝ＶB／ＶA＝（ｐB2−ｐB1）／（ｐA2−ｐA1） ……(3)

数式(3)の速度比率ＲVは、図１５の基準位置Ｌ0と位置ｐABとを通過する直線の傾斜に相当する。数式(3)から理解されるように、音響信号ＳBの位置ｐB1と位置ｐB2との間隔が時間ＴA（ＴA＝ｐA2−ｐA1）と比較して大きい（比率ＶRが１よりも大きい）ほど、歌詞情報ＤLの進行速度ＶBが音響信号ＳAの再生速度ＶAに対して高い速度に設定される。歌詞情報ＤLの進行速度ＶBは時間ＴA毎に順次に更新される。

第３実施形態においても第１実施形態や第２実施形態と同様の効果が実現される。また、第３実施形態では、同期解析情報Ｒが指定する検出点ＰR[g]と検出点ＰR[g+1]との間の区間について音響信号ＳAと音響信号ＳBとの時間的な対応が特定されるから、確定経路ＰFのうち不適正な検出点ＰR[k]を除外する構成にも関わらず、音響信号ＳAの再生と歌詞情報ＤLの処理とを精緻に同期させることが可能である。なお、以上の説明では、確定経路ＰFのうち不適正な検出点ＰR[k]を除外する第２実施形態を基礎とした構成を例示したが、音響信号ＳAと音響信号ＳBとで対応する時点を各単位情報ｒの補間で算定する第３実施形態の構成は、検出点ＰR[k]の除外を省略した第１実施形態にも同様に適用され得る。

なお、以上に例示した構成では、速度比率ＲVが時間ＴA毎に不連続に変化するから、歌詞情報ＤLに応じた歌詞表示の進行が不自然な印象となる可能性がある。そこで、以下の数式(4)で表現されるように、情報処理部５８が時間ＴA毎に算定する速度比率ＲV[t]に過去の速度比率ＲV[t-1]を反映させて変化を抑制する構成も採用され得る。
ＲV[t]＝β・ＲV[t-1]＋（１−β）・ＲV0 ……(4)

数式(4)の記号ＲV0は、数式(3)で算定される直近の速度比率ＲVに相当する。数式(4)の記号βは所定の定数（収束係数）を意味する（０≦β≦１）。数式(4)の係数βが小さいほど、音響信号ＳAの再生と歌詞情報ＤLの処理との時間的な関係が確定経路ＰFに高精度に追従するように速度比率ＲV[t]が変化する。数式(3)を採用した前述の例示は、数式(4)の係数βをゼロに固定した構成に相当する。他方、係数βが大きいほど速度比率ＲV[t]の時間的な変化（直近の速度比率ＲV0が反映される度合）が抑制される。したがって、歌詞情報ＤLに応じた歌詞表示が自然に進行するという利点がある。なお、係数βは、例えば入力装置１８に対する利用者からの指示に応じて可変に設定される。

＜Ｄ：変形例＞
以上の形態には様々な変形が加えられる。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は併合され得る。

（１）変形例１
音響信号ＳAの再生位置は入力装置１８に対する利用者からの指示に応じて変更され得る。図１６に示すように音響信号ＳAの全区間（時間長λA）のうち始点から比率α（％）の時点ｔAに音響信号ＳAの再生位置が変更された場合、同期解析部６６は、音響信号ＳBの全区間（時間長λB）のうち始点から比率αの時間（α・λB）が経過した時点ｔBを特定し、音響信号ＳAの時点ｔAと音響信号ＳBの時点ｔBとに対応する探索平面内の位置を基準位置Ｌ0として図３の同期解析処理（指標値行列σの算定，複数の候補経路ＰCの特定，確定経路ＰFの選択）を開始する。音響信号ＳAの再生位置の変更前の既存の指標値行列σや確定経路ＰFは消去される。

（２）変形例２
第２実施形態において確定経路ＰF上の各検出点ＰRについて適否を判定する方法は前述の例示に限定されない。例えば、確定経路ＰFにおける近傍の検出点ＰR[k]の系列から極端に乖離した選択検出点ＰR_SEL（例えば直前の検出点ＰR[k-1]と直後の検出点ＰR[k+1]との平均の地点から過度に離間した選択検出点ＰR_SEL）を不適正な検出点ＰR[k]として除外する構成や、確定経路ＰFを平滑化した曲線（例えば移動平均の軌跡）から過度に離間した選択検出点ＰR_SELを不適正な検出点ＰR[k]として除外する構成も採用され得る。

（３）変形例３
音響信号ＳAの再生に同期して表示装置１２に表示させる情報は歌詞に限定されない。例えば、楽曲の楽譜（例えばコード譜やタブ譜）を時系列に指定する楽譜情報を、音響信号ＳAの再生に同期して情報処理部５８が処理することで表示装置１２に楽譜を表示させる構成が採用され得る。楽曲に関連する画像（例えばカラオケの背景画像）を時系列に指定する画像情報を、音響信号ＳAの再生に同期して情報処理部５８が処理することで表示装置１２に画像を表示させる構成も好適である。

また、音響信号ＳAの再生と同期させるべき動作は画像（歌詞，楽譜，背景画像等）の表示に限定されない。具体的には、楽曲の再生に関連する要素の動作を時系列に指示する指示情報の処理（当該要素の制御）を音響信号ＳAの再生と同期させる構成が採用され得る。指示情報は、歌詞情報ＤLと同様に、楽音情報ＤNが指定する楽音の時系列と指示情報による指示の時系列とが時間軸上で相互に対応（同期）するように作成される。例えば、楽曲の再生時における照明機器の動作（明滅や照度）を時系列に指示する指示情報や、効果付与部（エフェクタ）が音響信号ＳOUTに付加する音響効果の態様（効果の種類や程度）を時系列に指示する指示情報を、前述の各態様における歌詞情報ＤLの代わりに（または歌詞情報ＤLとともに）、音響信号ＳAの再生と同期させる構成が採用され得る。

以上の例示から理解されるように、音響信号ＳAの再生に並行して処理される情報（例えば以上に例示した歌詞情報ＤL，楽譜情報，画像情報，指示情報）は、楽曲に関連する情報を時系列に指定する制御情報として包括される。また、制御情報を処理する要素（例えば前述の各形態における情報処理部５８）は、音響信号ＳAの再生と制御情報の処理とが同期するように同期解析部６６による解析の結果（同期解析情報Ｒ）に応じて制御情報を処理する要素として包括される。

（４）変形例４
以上の各形態では信号生成部５２が楽音情報ＤNから音響信号ＳBを生成したが、同期解析用の音響信号ＳBを楽音情報ＤNの代わりに（または楽音情報ＤNとともに）記憶装置３４に格納した構成も採用される。音響信号ＳBを記憶装置３４に格納した構成では信号生成部５２が省略され、記憶装置３４内の音響信号ＳBから第２特徴抽出部６４が単位区間ＦB[n]毎に特徴量ΨBを算定する。ただし、信号生成部５２を具備する構成によれば、カラオケ用に作成された既存の楽曲情報Ｄ0の楽音情報ＤNを同期解析処理に流用できるという利点や、音響信号ＳBを記憶装置３４に格納する構成と比較して記憶装置３４に必要な容量が削減されるという利点がある。

（５）変形例５
以上の各形態では楽音情報ＤNを音響信号ＳAとの同期の解析のみに利用する構成を例示したが、楽音情報ＤNに応じた音響信号ＳBを音響信号ＳAとともに再生する構成も採用され得る。例えば、ガイドメロディを示す楽音情報ＤNから音響信号ＳBを生成して音響信号ＳAとともに再生すれば、利用者による歌唱や演奏の練習を支援することが可能である。

（６）変形例６
第１特徴抽出部６２が抽出する特徴量ΨAや第２特徴抽出部６４が抽出する特徴量ΨBはクロマベクトルに限定されない。例えば、音響信号ＳAや音響信号ＳBのピッチを特徴量（ΨA，ΨB）として抽出する構成も採用され得る。以上の例示から理解されるように、特徴量（ΨA，ΨB）は、音響信号ＳAと音響信号ＳBとの音楽的な類否の判定に適用され得る数値として包括される。

（７）変形例７
以上の形態では、音響信号ＳAと音響信号ＳBとの対応を解析した結果を利用して歌詞情報ＤLの処理の進行速度を制御したが、同期解析処理の結果（同期解析情報Ｒ）を利用して音響信号ＳAと音響信号ＳBとを同期させる構成も採用され得る。具体的には、音響信号ＳAの単位区間ＦA[m]と音響信号ＳBの単位区間ＦB[n]との対応を示す同期解析情報Ｒを前述の各形態と同様の方法で生成し、情報処理部の代わりに設置された同期処理部（図示略）が、音響信号ＳAと音響信号ＳBとにおいて音楽的に対応する時点が時間軸上で合致するように、同期解析情報Ｒに応じて音響信号ＳBの各区間を音響信号ＳAに対して時間軸上で伸縮する。以上に説明したように、同期解析処理の結果を制御情報（歌詞情報ＤL）の処理に適用する構成は本発明において省略され得る。

以上の構成によれば、音響信号ＳAと音響信号ＳBとで音楽的に対応する時点が時間軸上で整合されるから、音響信号ＳAと音響信号ＳBとが同期しない構成と比較して、音響信号ＳAと音響信号ＳBとの音楽的な類否を容易に判定できる。したがって、例えば複数の音響信号ＳAのなかから特定の音響信号ＳBに類似する音響信号ＳAを検索する装置（楽曲検索装置）を実現することが可能である。

１００……音響処理装置、１２……表示装置、１４……収音装置、１６……放音装置、１８……入力装置、２０……信号供給装置、３２……演算処理装置、３４……記憶装置、４２……第１保持部、４４……再生制御部、４６……出力処理部、５２……信号生成部、５４……第２保持部、５６……解析処理部、５８……情報処理部、６２……第１特徴抽出部、６４……第２特徴抽出部、６６……同期解析部、７２……指標算定部、７４……候補特定部、７６……経路確定部。

Claims (3)

1. 楽曲の楽音を示す第１音響信号の特徴量を第１単位区間毎に順次に生成する第１特徴抽出手段と、
   楽曲に関連する情報を時系列に指定する制御情報で指定される当該情報の時系列に同期する楽音を示す第２音響信号の特徴量を第２単位区間毎に順次に生成する第２特徴抽出手段と、
   前記第１音響信号を再生する再生制御手段と、
   前記第１単位区間と前記第２単位区間との組合せ毎に算定されて前記特徴量の類否を示す類否指標値に応じて、前記第１単位区間と前記第２単位区間との対応を示す同期解析情報を、前記第１音響信号の再生の進行とともに順次に生成する同期解析手段と、
   前記第１音響信号の再生と前記制御情報の処理とが相互に同期するように前記同期解析情報に応じて前記制御情報を順次に処理する情報処理手段と
   を具備し、
   前記同期解析手段は、
   前記第１音響信号を示す第１軸と前記第１軸に交差して前記第２音響信号を示す第２軸とで規定される探索平面において前記第１単位区間と前記第２単位区間との各組合せに対応する解析点毎に前記類否指標値を算定する指標算定手段と、
   前記類否指標値に応じて前記各解析点を相互に連結することで前記探索平面に複数の候補経路を特定する候補特定手段と、
   前記複数の候補経路から確定経路を選択するとともに当該確定経路に応じた前記同期解析情報を生成する経路確定手段とを含み、
   前記候補特定手段は、前記探索平面内の基準位置から前記各解析点までの前記類否指標値の累積値に応じて前記複数の候補経路を特定し、
   前記経路確定手段は、前記基準位置から前記第１軸の方向に第１時間が経過した時点を通過する基準線を前記探索平面に設定し、前記複数の候補経路のうち前記基準線との交点に対応する解析点までの前記累積値が最大の類似を示す候補経路において、前記基準位置から前記第１軸の方向に前記第１時間よりも短い第２時間の区間を前記確定経路として確定する
   音響処理装置。
2. 楽曲の楽音を示す第１音響信号の特徴量を第１単位区間毎に順次に生成する第１特徴抽出手段と、
   楽曲に関連する情報を時系列に指定する制御情報で指定される当該情報の時系列に同期する楽音を示す第２音響信号の特徴量を第２単位区間毎に順次に生成する第２特徴抽出手段と、
   前記第１音響信号を再生する再生制御手段と、
   前記第１単位区間と前記第２単位区間との組合せ毎に算定されて前記特徴量の類否を示す類否指標値に応じて、前記第１単位区間と前記第２単位区間との対応を示す同期解析情報を、前記第１音響信号の再生の進行とともに順次に生成する同期解析手段と、
   前記第１音響信号の再生と前記制御情報の処理とが相互に同期するように前記同期解析情報に応じて前記制御情報を順次に処理する情報処理手段と
   を具備し、
   前記同期解析手段は、
   前記第１音響信号を示す第１軸と前記第１軸に交差して前記第２音響信号を示す第２軸とで規定される探索平面において前記第１単位区間と前記第２単位区間との各組合せに対応する解析点毎に前記類否指標値を算定する指標算定手段と、
   前記類否指標値に応じて前記各解析点を相互に連結することで前記探索平面に複数の候補経路を特定する候補特定手段と、
   前記複数の候補経路から確定経路を選択するとともに、前記確定経路上の各解析点について適否を判定し、適当と判定した前記各解析点に対応する前記第１単位区間と前記第２単位区間とを示す前記同期解析情報を生成する経路確定手段とを含む
   音響処理装置。
3. 前記情報処理手段は、前記第１音響信号の再生位置から所定時間が経過した時点に対応する前記制御情報の目標処理位置を前記同期解析情報に応じて特定し、前記制御情報の処理位置から前記目標処理位置までの時間と前記所定時間との比率に応じて前記第１音響信号の再生速度に対する前記制御情報の処理の進行速度を決定する
   請求項１または請求項２の音響処理装置。

Images