JP5134927B2 - 音楽データの頭出し位置を検出して歌詞字幕を表示する音楽再生装置 - Google Patents

Description

この発明は、ユーザが用意した音楽データに同期して歌詞字幕を表示させる音楽再生装置に関する。

周知のカラオケ装置は、カラオケデータに基づいて、伴奏音楽の演奏と同期して色変わりする歌詞字幕をディスプレイに表示する。各曲のカラオケデータは、楽曲番号と、伴奏音楽データと、歌詞描出データなどを組織化したデータ群である。通信カラオケシステムにおいて主に採用されているＭＩＤＩ形式の伴奏音楽データは、多種類のカラオケ音源のそれぞれを１つの楽器として、それぞれの楽器が発音すべき演奏音の発音／消去タイミング、音高、音量などを指定している。またその曲全体のテンポやビートを指定している。演奏処理時には、このテンポに基づいてタイミングクロック信号が生成され、各楽器演奏音の発音／消去タイミングが決定され時系列に演奏音が生成される。

また歌詞字幕の生成起源となる歌詞描出データは、適宜に区切られた複数の歌詞文字列ブロックのほか、各歌詞文字列ブロックの表示レイアウトを規定するデータと、各ブロックの表示タイミングや消去タイミングを規定するデータと、各ブロック中の文字列を音楽の進行に合わせて色替えするタイミングを指定するデータから構成される。タイミング情報は、伴奏音楽に合わせたデータ形式で記述されており、伴奏音楽と同期をとることができる。

最近では、伴奏音楽として生録音したカラオケ作品の音の良さが見直され、楽曲によってはＭＩＤＩタイプの他に生録音タイプが用意されている。特許第３２９４５２６号公報には、２つのタイプのカラオケデータを併用するカラオケ装置について開示されている。また、特開２００７−２６４１９０号公報には、同一楽曲についての生録音タイプの伴奏音楽にＭＩＤＩタイプのデータを流用する際に、両タイプ用の歌詞描出データのタイミング情報に基づいて対応付ける技術が開示されている。
特許第３２９４５２６号公報 特開２００７−２６４１９０号公報

利用者が自宅でカラオケを練習したり楽しんだりする場合には、通常、ＣＤなど歌入りのオリジナル音楽にあわせて歌う。このときに、紙媒体の歌詞本を見ながら歌うのではなく、パソコンのディスプレイにでも色替えつきの歌詞字幕が出ると、臨場感にあふれカラオケ練習効果も高くなり便利であろう。そこで本発明者は、オリジナル音楽データに同期するように作成した歌詞描出データを独立した商材にしたいと考えた。

一方、利用者が自宅で歌詞描出データを再生する場面で合わせて再生される音楽データは、同じいわゆる生録音タイプとはいえ、歌詞描出データ作成時のものと同一とは限らない。たとえばオリジナル音楽ＣＤを再生したアナログ音楽信号を記憶媒体にデジタル録音したものであったり、カラオケボックスでＣＤに録音したものであったりする。そうすると、音楽データの先頭に余白が入っていたり、イントロ部分の一部が欠けていたりして、テンポは同じでも頭出しの位置がオリジナル音楽データと異なっており、歌詞字幕を同期させることができない。

そこで本発明者は、音楽データの頭出しの位置を解析して、歌詞描出データと同期させて音楽データを再生できる音楽再生装置を提供したいと考え、本発明を創作した。

この発明に係る音楽再生装置は、つぎの事項（１）〜（９）により特定されるものである。
（１）記憶手段と、制御手段と、音響出力手段と、表示手段を備え、ある楽曲のオリジナル音楽波形データＡ１に同期して作成された歌詞描出データに基づいて、頭出しにオフセット時間を含む同一楽曲の音楽波形データＡ２に同期して歌詞表示を行なう音楽再生装置であること
（２）記憶手段は、音楽波形データＡ２と歌詞描出データを記憶すること
（３）歌詞描出データは、音楽波形データＡ１に同期する歌詞字幕の表示・消去・色替えに関わるタイミングデータと、音楽波形データＡ１の先頭部分の特徴を示す先頭波形特徴データＢ１を含むこと
（４）先頭波形特徴データＢ１は、音楽波形データＡ１の先頭部分を時間間隔ｔ１で複数区間に分割した各区間の波形の代表値の順列を含むこと
（５）制御手段は、オフセット時間検出処理と、音楽再生処理を行なうこと
（６）オフセット時間検出処理は、第１〜第２処理を含むこと
（７）第１処理は、音楽波形データＡ２の先頭部分を時間間隔ｔ１で分割して各区間の波形の代表値を抽出して音楽波形データＡ２の先頭波形特徴データＢ２を生成すること
（８）第２処理は、先頭波形特徴データＢ１とＢ２を、相対的に時間シフトさせながら類似度を判定してそれらを対比させ、類似度が最も高い時間シフト値に基づいてオフセット時間Ｆを特定すること
（９）音楽再生処理は、特定したオフセット時間Ｆに基づいて音楽波形データＡ２と歌詞描出データの頭出しを相対的に加減して、音楽波形データＡ２に基づく音声信号を音響出力手段に出力させるとともに、歌詞描出データに基づく歌詞字幕を表示手段に出力させること

この発明において、次の事項（11）〜（16）を備えることが望ましい。
（11）先頭波形特徴データＢ１に加え、当該先頭波形特徴データＢ１の２点間の傾斜が最大の時間位置情報Ｔと、時間位置Ｔを中心にしてその前後の微少区間をｔ１より短い時間間隔ｔ２で分割した各区間の波形代表値の順列である微細波形特徴データＣ１を含むこと
（12）オフセット時間検出処理は、第１〜第４処理を含むこと
（13）第１処理は、音楽波形データＡ２の先頭部分を時間間隔ｔ１で分割して各区間の波形の代表値を抽出して音楽波形データＡ２の先頭波形特徴データＢ２を生成すること
（14）第２処理は、先頭波形特徴データＢ１とＢ２を、相対的に時間シフトさせながら類似度を判定してそれらを対比させ、類似度が最も高い時間シフト値に基づいてオフセット時間Ｄを特定すること
（15）第３処理は、特定したオフセット時間Ｄと時間位置情報Ｔに基づく音楽波形データＡ２の微少部分を時間間隔ｔ２で分割した各区間の波形代表値の順列である微細波形特徴データＣ２を生成すること
（16）第４処理は、微細波形特徴データＣ１とＣ２を、相対的に時間シフトさせながら類似度を判定してそれらを対比させ、類似度が高い時間シフト値に基づいてオフセット時間Ｅを特定し、オフセット時間ＤとＥに基づきオフセット時間Ｆを特定すること

さらに波形代表値は、時間間隔ｔ１またはｔ２で分割した区間内の最大ピーク値または最小ディップ値であることが望ましい。

さらにまた、オフセット時間検出処理において、２つの波形特徴データの類似度を比較する際、いずれか一方の極性を反転させた場合の類似度もあわせて比較することが望ましい。

本発明の音楽再生装置によれば、利用者が録音した音楽データなどオリジナル音楽データとは頭出しの位置が異なる音楽データにも同期させて歌詞字幕を表示させることができる。そのため、カラオケ業者は歌詞描出データを独立した商材として扱える。利用者も、自宅で色替え表示する歌詞字幕を見ながらカラオケを練習したりできる。効率よく練習ができるようになったり、家で簡単かつ気軽にカラオケを楽しめるようになったりするので、カラオケ利用者層が拡大する効果を期待できる。

＝＝＝実施の概要＝＝＝
本発明の一実施例として、利用者が自宅などに所有する汎用のパソコンを利用した形態を例示する。汎用パソコンは、ＣＰＵ・ＲＡＭ・ＲＯＭを含む中央制御部の制御により、ＭＰ３形式などのデジタル形式の音楽データを再生し音響出力可能であるとともに、歌詞字幕を表示可能なディスプレイと、ｊａｖａ（登録商標）などのアプリケーションソフトウェア実行環境と、インターネットに接続可能な通信インタフェースを実装している。そして利用者の汎用パソコンを本発明に係る音楽再生装置として機能させるための専用アプリケーションソフトは、カラオケ事業者が運営するＷｅｂサイトなどに公開しておき、これをダウンロードするなどしてインストールできるものとする。また、後述する専用の歌詞描出データも、同Ｗｅｂサイトなどで購入するなどして入手してメモリに記憶させることができるものとする。

なお本発明の実施形態には、インターネットに接続可能な携帯音楽プレーヤーや、インターネットに接続された汎用パソコンとデータ通信可能な携帯音楽プレーヤーを音楽再生装置とする構成を含んでもよい。

＝＝＝歌詞描出データの構成＝＝＝
本実施例に係る歌詞描出データは、適宜に区切られた複数の歌詞文字列ブロックと、各歌詞文字列ブロックの表示レイアウトを規定するデータと、各ブロックの表示タイミングや消去タイミングを規定するデータと、各ブロック中の文字列を音楽の進行に合わせて色替えするタイミングを指定するデータからなるよく知られたデータ構成に加え、先頭波形特徴データＢ１を含んでいることに特徴がある。

先頭波形特徴データＢ１は、歌詞描出データ作成時に同期させたオリジナル音楽の波形データＡ１の先頭部分の特徴を示すデータであって、オリジナル音楽波形データＡ１から抽出して作成されたものである。図１に先頭波形特徴データＢ１の作成方法を例示している。オリジナル音楽波形データＡ１の先頭から２０秒の部分を時間間隔ｔ１（本実施例では０．１秒）で区分し、図１（ａ）に例示しているように、各区間内で波形のピークの最高値とディップの最低値を抽出し、それぞれを当該区間のピーク代表値、ディップ代表値とする。そして、図１（ｂ）に例示したように、それら代表値を時系列に並べた折れ線グラフとして、先頭波形特徴データＢ１を作成する。

なお、代表値の抽出方法は上記に限定されない。各区間内の複数あるピークの平均値やディップの平均値をそれぞれのピーク代表値、ディップ代表値としてもよい。

＝＝＝オフセット時間検出処理＝＝＝
本実施例に係る音楽再生装置は、音楽データの再生音響出力に際し、歌詞描出データを同期させてディスプレイに表示させるものである。適宜なユーザインタフェースにより、利用者が楽曲を指定すると、演奏に先立って音楽データの頭出し（オフセット）位置を分析するオフセット時間検出処理を行なう。たとえば利用者が音楽再生装置としてのパソコンにインストールされている本発明専用アプリケーションを起動させると、歌唱描出データがメモリに記録されている楽曲を一覧的に表示させ、いずれかを選択指定できるようになっている。そこで利用者が楽曲を選択し、また再生対象の音楽データが指定されると、中央制御部は以下に説明するオフセット時間検出処理を開始する。

図２にオフセット時間検出処理のフロー図を例示している。オフセット時間検出処理とは、歌詞描出データに付帯されている先頭波形特徴データＢ１に基づいて、再生対象曲の音楽波形データＡ２の頭出し（オフセット）位置を検出する処理である。そのために、再生対象曲の歌詞描出データに先頭波形特徴データＢ１が付帯する場合に（ｓ１）、中央制御部はまず、音楽波形データＡ２の先頭部分から先頭波形特徴データＢ２を抽出する（ｓ２）。すなわち、音楽波形データＡ２の先頭部分３０秒程度を時間間隔ｔ１で複数区間に分割し、各区間の代表値を抽出して時系列に並べて先頭波形特徴データＢ２とする。ここでは、音楽波形データＡ２の先頭にｔ１より長い空白が含まれている場合を考慮して、オリジナル音楽波形データＡ１から先頭波形特徴データＢ１を抽出した部分（本実施例では２０秒）より長い区間（本実施例では３０秒程度）を先頭部分として対象にしている。

そして、まず先頭波形特徴データＢ１とＢ２とを対比させる（ｓ３〜ｓ４）。先頭からの時間が等しい区間どうしでピーク代表値の差分をとり、対比させる全区間についての差分絶対値を合計する。図３に対比方法を例示した。つまり、図３（ａ）に例示しているように、先頭波形特徴データＢ１のうち、ピーク代表値の順列が先頭から
（α１，α２，α３，・・・）
であり、また図３（ｂ）に例示しているように、先頭波形特徴データＢ２のうち、ピーク代表値の順列が先頭から
（β１，β２，β３，・・・）
である場合に、
差分合計Ｚ０＝｛｜α１―β１｜＋｜α２−β２｜＋｜α３−β３｜＋・・・｝
を算出する（ｓ４）。この差分合計は、２つの波形が一致していれば０になり、２つの波形が類似しているほど小さくなると言える。言い換えれば、この２つの波形の類似度が最も高い場合に差分合計が最小となると言える。

そこで、２つの波形が一致していない場合に、一方の波形を時間軸にそってシフトさせて、類似度が高くなる位置を検出する。類似度が最も高いときに２つの音楽データの頭だし位置がほぼ一致したということができるので、シフトさせた時間幅を音楽波形データＡ２のオフセット時間と判定できる。

図３の例では、（ｃ）に例示しているように、対比させる区間をｔ１だけシフトさせ、同じように対比させた区間のピーク代表値の差分を合計する（ｓ６）。つまり、
差分合計Ｚ１＝｛｜α１−β２｜＋｜α２−β３｜＋｜α３−β４｜＋・・・｝
を算出する。

Ｚ１が０でない場合には、図３（ｄ）に例示しているように、さらに対比させる区間をｔ１だけシフトさせ、
差分合計Ｚ２＝｛｜α１−β３｜＋｜α２−β４｜＋｜α３−β５｜＋・・・｝
を算出する（ｓ６）。

このように対比させる区間をｔ１ずつシフトさせて差分合計を算出する処理（ｓ９→ｓ５，ｓ６）を繰り返しながら、差分合計Ｚｘ（シフト回数ｘ＝０，１，２，・・・）が最小となるシフト時間（＝ｔ１×シフト回数ｘ）を求める。すなわち、Ｚｘが最小値レジスタ値Ｚｍｉｎ（初期値＝Ｚ０）を下回った場合に上書きするとともに、そのときのシフト回数ｘを最小シフト回数レジスタＳ（初期値＝０）に上書きする（ｓ７→ｓ８）。そして対比させる区間の全区間についてシフトさせた後（ｓ９→ｓ１０）、差分合計の最小値Ｚｍｉｎに対応するシフト時間（最小シフト回数レジスタ値Ｓ×ｔ１）を音楽波形データＡ２のオフセット時間と判定する（ｓ１０）。

ここで求めたオフセット時間に基づいて、歌詞描出データの起点または音楽波形データＡ２の起点を相対的に時間シフトすれば、音楽波形データＡ２の再生と歌詞字幕表示とをほぼ同期させることができる。

図３の例では、（ａ）と（ｄ）を対比させればわかるように、２回シフトすれば２つの先頭波形特徴データの類似度が最も高くなるため、オフセット時間は２×ｔ１と検出される。

なお、ここではピーク代表値のみを対比させることとしているが、ディップ代表値もあわせて対比させると、より確実にオフセット時間を検出することができる。

以上のようにして、中央制御部はオフセット時間検出処理を行なって検出したシフト時間＝オフセット時間に基づいて、音楽波形データＡ２の音響出力に際して、歌詞描出データの出力タイミングをオフセット時間だけ遅延させて映像出力する。これにより、音楽波形データＡ２と歌詞字幕とを同期して出力させることができる。

＝＝＝第２の実施例＝＝＝
上記実施例では、オフセット時間の検出に際して、誤差は±ｔ１の範囲で生じることになる。そこで、第２の実施例の歌唱描出データは、先頭波形特徴データＢ１に加え、オリジナル音楽波形データＡ１から抽出した微細波形特徴データＣ１を付帯することとする。これは、先頭波形特徴データＢ１との対比で得られたオフセット時間に内在する±ｔ１の誤差を改善するためのものである。第２の実施例においては、先頭波形特徴データＢ１との対比で得られたオフセット時間をオフセット時間Ｄとする。

微細波形特徴データＣ１は、図４に例示しているように、先頭波形特徴データＢ１のピーク代表値の遷移を示す各折れ線のうち傾きが最大の折れ線を含む２区間を特定し、オリジナル音楽波形データＡ１から、当該２区間をさらにｔ１より小さい時間間隔ｔ２（たとえば０．００１秒）で細分した各区間の代表値（ピーク代表値、ディップ代表値）を抽出して時系列に並べて作成する。波形の傾きが最大となる時点とは、音量が急激に変化していることを意味している。このような現象は、特に演奏開始位置に特徴的に現れるため、本発明に係るオフセット時間検出に特に有効な部分ということができる。

歌詞描出データには時間位置情報Ｔとともに微細波形特徴データＣ１を付帯させておく。時間位置情報Ｔとは、微細波形特徴データＣ１を抽出した位置の中心を、オリジナル音楽波形データＡ１の先頭を起点とした時間で示したものである。

微細波形特徴データＣ１を使用してオフセット時間Ｄに内在する±ｔ１の誤差を改善するに際し、まずは、再生対象の音楽波形データＡ２をオフセット時間Ｄに基づいてシフトする。そうすると音楽波形データＡ２の起点はオリジナル音楽波形データＡ１の起点と±ｔ１の誤差でほぼ一致している。その状態で微細波形特徴データＣ１に該当する波形が存在するはずの位置は、音楽波形データＡ２の先頭から時間位置情報Ｔだけ経過した部分であり、それも±ｔ１の誤差範囲の中である。したがって、その位置を中心にして前後に時間間隔ｔ１の２区間に類似度の高い部分が存在する。そこで本実施例では４区間分を微細波形特徴データＣ１と対比させ、より精細なオフセット時間を検出することとしている。

つまり、オフセット時間検出処理においては、音楽波形データＡ２をオフセット時間Ｄでシフトさせ、その先頭起点から時間位置情報Ｔだけ経過した位置の前後について、時間間隔ｔ１の４区間分を特定し、その区間から微細波形特徴データＣ２を抽出する。つまり、特定した区間を時間間隔ｔ２で細分して各区間の代表値（ピーク代表値、ディップ代表値）を抽出し、時系列に並べて微細波形特徴データＣ２とする。

そして、抽出した微細波形特徴データＣ２と、微細波形特徴データＣ１とをｔ２ずつ時間をシフトさせながら対比させ、差分合計が最小になるオフセット時間Ｅを検出する。このオフセット時間Ｅをオフセット時間Ｄに加算する。こうすると、誤差は±ｔ２（＜ｔ１）の範囲となるので、より正確にオフセット時間を特定できることになる。つまり、オフセット時間Ｄによって粗調整され、さらにオフセット時間Ｅで加減することで、より正確に微調整されたオフセット時間Ｆを検出できる。

同様にして、さらに微細化した微細波形特徴データを用意して対比する区間を細かく絞り込んでいけば、オフセット時間の検出精度を高められる。

＝＝＝他の実施形態＝＝＝
音楽波形データＡ２がオリジナル音楽波形データＡ１と同じ音楽ＣＤをコピーしたものであっても、たとえばＷＡＶＥ形式からＭＰ３形式など形式変換された場合や、一度アナログ信号にしたものを再びデジタルエンコードした場合などに、波形の極性が反転したり、振幅レベルが異なる場合がある。そこで、オフセット時間検出処理においては、一方の波形データの極性を反転させたり振幅の倍率を変更したりしながら、差分合計が最小となる時点を求めるようにする。
通常、波形データは縦軸中央をゼロレベルとする正負の値をもつので、振幅の倍率を変更するとゼロレベルを中心とした振幅の変化となる。
極性反転させるためには、たとえば、ピーク代表値同士、ディップ代表値同士を対比させる代わりに、ピーク代表値とディップ代表値とを一方の正負符号を反転させて対比させることで可能となる。

本実施例に係る先頭波形特徴データの作成方法を例示している。 本実施例に係るオフセット時間検出処理のフロー図である。 本実施例に係るオフセット時間検出処理における先頭波形特徴データＢ１、Ｂ２の対比方法を例示している。 本実施例に係る微細波形特徴データの作成方法を例示している。

符号の説明

Ａ１，Ａ２ 音楽波形データ
Ｂ１，Ｂ２ 先頭波形特徴データ
Ｃ１，Ｃ２ 微細波形特徴データ
ｔ１ 先頭波形特徴データ抽出時の区分時間
ｔ２ 微細波形特徴データ抽出時の区分時間

Claims (3)

1. 記憶手段と、制御手段と、音響出力手段と、表示手段を備え、ある楽曲のオリジナル音楽波形データＡ１に同期して作成された歌詞描出データに基づいて、頭出しにオフセット時間を含む同一楽曲の音楽波形データＡ２に同期して歌詞表示を行なう音楽再生装置であって、
   記憶手段は、音楽波形データＡ２と歌詞描出データを記憶し、
   歌詞描出データは、音楽波形データＡ１に同期する歌詞字幕の表示・消去・色替えに関わるタイミングデータと、音楽波形データＡ１の先頭部分の特徴を示す先頭波形特徴データＢ１と、微細波形特徴データＣ１とを含み、
   先頭波形特徴データＢ１は、音楽波形データＡ１の先頭部分を時間間隔ｔ１で複数区間に分割した各区間の波形の代表値の順列を含み、
   微細波形特徴データＣ１は、当該先頭波形特徴データＢ１の２点間の傾斜が最大の時間位置情報Ｔと、時間位置Ｔを中心にしてその前後の微少区間をｔ１より短い時間間隔ｔ２で分割した各区間の波形代表値の順列であり、
   制御手段は、オフセット時間検出処理と、音楽再生処理を行ない、
   オフセット時間検出処理は、第１〜第４処理を含み、
   第１処理は、音楽波形データＡ２の先頭部分を時間間隔ｔ１で分割して各区間の波形の代表値を抽出して音楽波形データＡ２の先頭波形特徴データＢ２を生成し、
   第２処理は、先頭波形特徴データＢ１とＢ２を、相対的に時間シフトさせながら類似度を判定してそれらを対比させ、類似度が最も高い時間シフト値に基づいてオフセット時間Ｄを特定し、
   第３処理は、特定したオフセット時間Ｄと時間位置情報Ｔに基づく音楽波形データＡ２の微少部分を時間間隔ｔ２で分割した各区間の波形代表値の順列である微細波形特徴データＣ２を生成し、
   第４処理は、微細波形特徴データＣ１とＣ２を、相対的に時間シフトさせながら類似度を判定してそれらを対比させ、類似度が高い時間シフト値に基づいてオフセット時間Ｅを特定し、オフセット時間ＤとＥに基づきオフセット時間Ｆを特定し、
   音楽再生処理は、特定したオフセット時間Ｆに基づいて音楽波形データＡ２と歌詞描出データの頭出しを相対的に加減して、音楽波形データＡ２に基づく音声信号を音響出力手段に出力させるとともに、歌詞描出データに基づく歌詞字幕を表示手段に出力させる
   音楽再生装置。
2. 波形代表値は、時間間隔ｔ１またはｔ２で分割した区間内の最大ピーク値または最小ディップ値である
   請求項１に記載の音楽再生装置。
3. オフセット時間検出処理において、２つの波形特徴データの類似度を比較する際、いずれか一方の極性を反転させた場合の類似度もあわせて比較する
   請求項１または２に記載の音楽再生装置。

Images