JP7176105B2 - 再生制御装置、プログラムおよび再生制御方法 - Google Patents

Description

本発明は、再生制御装置、プログラムおよび再生制御方法に関する。

例えば、音楽プレーヤーや、各種の携帯端末を用いて楽曲を再生するときに、再生に同期して当該楽曲の歌詞を表示することは一般的に行われている。例えば、特許文献１には、オーディオファイルの再生時にテキストを同期化させて出力できるようにするための同期信号をオーディオファイルに埋め込むことによって、そのような表示を可能にする技術が記載されている。また、特許文献２には、クライアントが既に音楽ファイルを所有している場合に音楽データの取得費用が重複して発生することのない同期歌詞配信システムが記載されている。

特開２００４－３１８１６２号公報 特開２００８－１１２１５８号公報

例えば上記のような技術を用いて楽曲に同期したテキストを表示するにあたり、例えば楽曲の進行に合わせて歌詞を表示するテキストの色を変えたり、テキストの色や透過性、画面内での表示位置を予め設定したり、楽曲内の再生位置が変更されたときに変更後の再生位置に対応するテキストに表示を変更したり、といった形で演出効果を加えることは従来行われてきた。

しかしながら、これらの演出は楽曲が順方向に通常の速度で再生されることを前提にしたものであるため、例えばＤＪ（Disc Jockey）やＶＪ（Visual Jockey）のプレイで楽曲の再生とともに画像を表示する場合には、例えばプレイのリアルタイム感を表現するのに必ずしも十分とはいえなかった。

そこで、本発明は、楽曲の再生とともに画像を表示する場合に、プレイのリアルタイム感を表現する演出効果を加えることが可能な再生制御装置、プログラムおよび再生制御方法を提供することを目的とする。

本発明のある観点によれば、楽曲内の再生位置情報に対応付けられた音声データ、および再生位置情報に対応付けられたテキスト関連データを取得するデータ取得部と、楽曲の制御に対する操作を示す操作信号を取得する操作信号取得部と、操作信号に応じて、再生位置情報によって特定される楽曲内の区間に対応付けられた音声データを加工する音声データ加工部と、テキスト関連データに基づいて文字画像を含む画像データを生成し、再生位置情報および操作信号に基づいて区間の歌詞を表示する文字画像を加工する画像データ生成部と、加工された音声データと画像データとを出力するデータ出力部とを備える再生制御装置が提供される。

本発明の別の観点によれば、上記の再生制御装置としてコンピュータを機能させるように構成されたプログラムが提供される。

本発明のさらに別の観点によれば、楽曲内の再生位置情報に対応付けられた音声データ、および再生位置情報に対応付けられたテキスト関連データを取得するステップと、楽曲の制御に対する操作を示す操作信号を取得するステップと、操作信号に応じて、再生位置情報によって特定される楽曲内の区間に対応付けられた音声データを加工するステップと、テキスト関連データに基づいて文字画像を含む画像データを生成し、再生位置情報および操作信号に基づいて区間の歌詞を表示する文字画像を加工するステップと、加工された音声データと画像データとを出力するステップとを含む再生制御方法が提供される。

本発明の一実施形態に係る再生制御装置の概略的な機能構成を示すブロック図である。 本発明の一実施形態に係る再生制御方法を示すフローチャートである。 本発明の一実施形態で表示される画像の第１の例を示す図である。 本発明の一実施形態で表示される画像の第２の例を示す図である。 本発明の一実施形態で表示される画像の第３の例を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

図１は、本発明の一実施形態に係る再生制御装置の概略的な機能構成を示すブロック図である。図１に示されるように、再生制御装置１００は、データ取得部１１０と、操作信号取得部１２０と、音声データ加工部１３０と、画像データ生成部１４０と、データ出力部１５０とを含む。上記の各部の機能は、例えばコンピュータのハードウェア構成を備える再生制御装置において、プロセッサがプログラムに従って動作することによって実現される。以下、各部の機能についてさらに説明する。

データ取得部１１０は、楽曲の音声データ１１１、および楽曲の歌詞テキストを表示するためのテキスト関連データ１１２を取得する。より具体的には、データ取得部１１０は、記憶装置１１３から音声データ１１１およびテキスト関連データ１１２を読み込む。記憶装置１１３は再生制御装置１００とは異なる装置に備えられていてもよく、その場合データ取得部１１０は有線または無線の通信によって音声データ１１１およびテキスト関連データ１１２を受信する。なお、音声データ１１１とテキスト関連データ１１２とは、必ずしも同一の記憶装置１１３に格納されていなくてもよく、それぞれ異なる記憶装置に格納されていてもよい。例えば、データ取得部１１０は、再生制御装置１００が備える記憶装置に格納された音声データ１１１を読み込む一方で、テキスト関連データ１１２を外部装置から受信してもよい。

本実施形態において、音声データ１１１およびテキスト関連データ１１２は、楽曲内の再生位置情報であるタイムスタンプ１１１Ｔに対応付けられる。音声データ１１１およびテキスト関連データ１１２が共通のタイムスタンプ１１１Ｔに対応付けられていることによって、後述するように画像データ生成部１４０が楽曲内の特定の区間に対応するテキスト関連データ１１２を特定し、当該区間における楽曲の歌詞を表示する文字画像を含む画像データを生成することができる。テキスト関連データ１１２は、例えばテキストデータ、またはテキストの画像データを含む。テキスト関連データ１１２は、例えばフレーズ単位、または単語単位で楽曲のタイムスタンプ１１１Ｔに対応付けられている。

操作信号取得部１２０は、楽曲の制御に対する操作を示す操作信号１２１を取得する。操作信号１２１は、例えば、データ出力部１５０が音声データ１１１および画像データ１４１を出力することによって楽曲および画像が再生されている間に、ユーザが操作部１２２のボタン、パッド、スイッチ、ノブまたはジョグダイヤルなどを操作することによって生成される。操作部１２２は再生制御装置１００とは異なる装置に備えられていてもよく、その場合操作信号取得部１２０は有線または無線の通信によって操作信号１２１を受信する。本実施形態において、楽曲の制御に対する操作は、例えばジョグダイヤルのスクラッチ操作やＣｕｅポイントへのジャンプなどによる楽曲内の特定の区間の繰り返し再生、楽曲内の特定の区間の音声にハイパスフィルタやローパスフィルタのような所定の周波数帯域のフィルタをかけること、および楽曲内の特定の区間の音声にディレイやリバーブのように所定の遅延時間で残響音を付加することを含む。

音声データ加工部１３０は、操作信号取得部１２０が取得した操作信号１２１に応じて、楽曲内の区間に対応付けられた音声データ１１１を加工する。ここで、加工が実行される区間は、音声データ１１１のタイムスタンプ１１１Ｔによって特定される。例えばスクラッチ操作による繰り返し再生の場合、スクラッチが開始された時点のタイムスタンプ１１１Ｔが区間の終点になり、終点からスクラッチの操作量に対応する時間だけ戻った時点のタイムスタンプ１１１Ｔが区間の始点になる。Ｃｕｅポイントへのジャンプによる繰り返し再生の場合、予め指定されているＣｕｅポイントが区間の始点になり、操作部１２２への操作によってジャンプが指示された時点のタイムスタンプ１１１Ｔが区間の終点になる。これらの場合において、音声データ加工部１３０は、上記の始点から終点までの区間が繰り返し再生されるように音声データ１１１を加工する。また、例えばフィルタや残響音の場合、操作部１２２においてフィルタや残響音をＯＮにする操作が取得された時点が区間の始点になり、ＯＦＦにする操作が取得された時点が区間の終点になる。音声データ加工部１３０は、上記の始点から終点までの区間で音声データ１１１にフィルタをかけたり、残響音を付加したりする。音声データ加工部１３０は、例えばプログラムに従って、また操作部１２２のノブやスイッチなどによって予め設定されているパラメータに従って、上記のような音声データ１１１の加工を実行する。

画像データ生成部１４０は、データ取得部１１０が取得したテキスト関連データ１１２に基づいて、楽曲の歌詞を表示する文字画像を含む画像データ１４１を生成する。ここで、画像データ１４１は、時系列で表示される複数の画像、すなわち映像を表示するためのデータであってもよい。より具体的には、例えば、画像データ生成部１４０は、テキスト関連データ１１２に含まれるテキストデータに基づいて文字画像を生成し、楽曲の進行に合わせて変化する文字画像と背景画像とを合成した画像データ１４１を生成する。あるいは、画像データ生成部１４０は、テキスト関連データ１１２に含まれるテキストの画像データを文字画像として利用してもよい。なお、背景画像、すなわち楽曲の歌詞を表示する文字画像以外の画像の要素を表示するための画像データは、例えばテキスト関連データ１１２と同様に楽曲のタイムスタンプ１１１Ｔに関連付けられていてもよいし、楽曲のタイムスタンプ１１１Ｔに関連付けられていなくてもよい。画像における文字画像の位置、大きさ、および色は、例えばテキスト関連データ１１２によって予め指定されていてもよいし、操作部１２２のノブやスイッチなどによって設定されているパラメータに従って決定されてもよい。以下で説明するように、画像データ生成部１４０は、音声データ加工部１３０によって音声データ１１１の加工が実行された区間の歌詞を表示する文字画像の位置、大きさ、および色などを、加工の種類や程度に応じて予め決定されたものから変更してもよい。

本実施形態において、画像データ生成部１４０は、画像データ１４１に含まれる文字画像を、テキスト関連データ１１２が対応付けられている楽曲のタイムスタンプ１１１Ｔと、操作信号取得部１２０が取得した操作信号１２１とに基づいて加工する。具体的には、画像データ生成部１４０は、音声データ加工部１３０によって音声データ１１１が加工された楽曲内の区間の歌詞を表示する文字画像を加工する。例えば、画像データ生成部１４０は、楽曲内の特定の区間の繰り返し再生を示す操作信号１２１が取得された場合に、繰り返し再生される区間において繰り返しの回数に応じて文字画像を複製する。この場合、複製された文字画像は、それぞれ異なる態様で表示されてもよい。また、例えば、画像データ生成部１４０は、楽曲内の特定の区間の音声に所定の周波数帯域のフィルタをかけることを示す操作信号１２１が取得された場合に、文字画像の高さ方向の領域のうち、フィルタがかけられる周波数帯域に対応する領域を加工してもよい。さらに、例えば、画像データ生成部１４０は、楽曲内の特定の区間の音声に残響音を付加することを示す操作信号１２１が取得された場合に、残響音のレベルまたは遅延時間に応じて文字画像を加工してもよい。なお、文字画像の加工のさらなる例については後述する。

データ出力部１５０は、音声データ加工部１３０によって加工された音声データ１１１Ａと、画像データ生成部１４０によって生成された画像データ１４１を出力する。データ出力部１５０が、再生制御装置１００に直接的または間接的に接続されたスピーカーやヘッドフォンなどの音声出力部１５１に音声データ１１１Ａを出力することによって、楽曲が再生される。また、データ出力部１５０が、再生制御装置１００に直接的または間接的に接続されたディスプレイやプロジェクタなどの表示部１５２に画像データ１４１を出力することによって、画像が表示される。なお、操作信号取得部１２０が楽曲の制御に対する操作を示す操作信号を取得していない間、音声データ加工部１３０は音声データ１１１を加工せず、画像データ生成部１４０は文字画像を加工しない。この場合、データ出力部１５０は、データ取得部１１０が取得した音声データ１１１と、画像データ生成部１４０が生成した加工されていない文字画像を含む画像データ１４１とを出力する。

ここで、画像データ１４１について、画像データ生成部１４０は、音声データ１１１による楽曲の再生に同期して画像データ１４１を生成してもよい。この場合、操作信号取得部１２０が楽曲の制御に対する操作を示す操作信号を取得すると、画像データ生成部１４０は、テキスト関連データ１１２に基づいて、最初から加工された文字画像を含む画像データ１４１を生成する。あるいは、画像データ生成部１４０は、テキスト関連データ１１２に基づいて、楽曲のタイムスタンプ１１１Ｔに対応付けられた画像データ１４１を予め生成してもよい。この場合、画像データ１４１が作成された時点では文字画像は加工されておらず、操作信号取得部１２０が楽曲の制御に対する操作を示す操作信号を取得した時点で、画像データ生成部１４０が画像データ１４１に含まれる対象の区間の文字画像を加工する。

図２は、本発明の一実施形態に係る再生制御方法を示すフローチャートである。図２に示された例では、まず、データ取得部１１０が音声データ１１１およびテキスト関連データ１１２を取得する（ステップＳ１０１）。より具体的には、例えば、データ取得部１１０は、操作部１２２への操作によって再生する楽曲が決定されたときに、楽曲の音声データ１１１およびテキスト関連データ１１２を読み込み、または受信する。データ取得部１１０は、楽曲全体の音声データ１１１およびテキスト関連データ１１２を一括して取得してもよいし、楽曲の再生に合わせて音声データ１１１およびテキスト関連データ１１２を部分的に順次取得してもよい。

楽曲の再生が開始されると（ステップＳ１０３）、操作信号取得部１２０が、楽曲の制御に対する操作を示す操作信号１２１を待ち受ける。操作信号１２１が取得されると（ステップＳ１０５のＹＥＳ）、音声データ加工部１３０が操作信号１２１に応じて楽曲内の区間の音声データ１１１を加工する（ステップＳ１０７）。さらに、画像データ生成部１４０が、音声データ１１１が加工される区間の歌詞を表示する文字画像を加工し（ステップＳ１０９）、文字画像を含む画像データ１４１を生成する（ステップＳ１１１）。なお、音声データ１１１の加工（ステップＳ１０７）と、文字画像を含む画像データ１４１の生成（ステップＳ１０９，Ｓ１１１）とは、時間的に並行して実行されてもよい。

楽曲の再生中において、データ出力部１５０は、音声データ１１１（加工された音声データ１１１Ａ）および文字画像を含む画像データ１４１を出力する（ステップＳ１１３）。なお、楽曲の制御に対する操作を示す操作信号１２１が取得されなかった場合（ステップＳ１０５のＮＯ）、ステップＳ１１３において、データ出力部１５０は、加工されていない音声データ１１１と、加工されていない文字画像を含む画像データ１４１とを出力する。以上の処理を、所定の時間間隔で、楽曲の再生が終了するまで繰り返す（ステップＳ１１５）。

以上で説明したような本発明の一実施形態によれば、楽曲の再生中の操作部１２２に対するユーザの操作によって、音声データ加工部１３０が音声データ１１１を加工するだけではなく、画像データ生成部１４０によって生成される画像において、音声データ１１１が加工される区間の歌詞を表示する文字画像が加工される。このような加工によって、楽曲とともに再生される画像に、例えばＤＪ（Disc Jockey）やＶＪ（Visual Jockey）のプレイのリアルタイム感を十分に表現した演出効果を加えることができる。

（文字画像の加工の具体的な例）
図３は、本発明の一実施形態で表示される画像の第１の例を示す図である。図示された例では、楽曲のタイムスタンプ「００’１０”０１」の時点で操作信号取得部１２０が取得したスクラッチやＣｕｅポイントへのジャンプの操作によって、タイムスタンプ「００’０９”２９」まで再生位置が戻されている。この場合、音声データ加工部１３０は、既に１回再生されたタイムスタンプ「００’０９”２９」から「００’１０”０１」までの区間が繰り返して再生されるように（２回目の再生）、音声データ１１１を加工する。ここで、テキスト関連データ１１２では、タイムスタンプ「００’０９”３５」に「Now the sun is shining」という歌詞が対応付けられ、タイムスタンプ「００’０９”４５」に「and the sky is blue.」という歌詞が対応付けられている。画像データ生成部１４０は、既に１回目の再生時に上記の歌詞を表示する文字画像を含む画像データ１４１を生成しているが、２回目の再生時には１回目の再生時に表示された文字画像を残したまま、新たに上記の歌詞を表示する文字画像を含む画像データ１４１を生成する。

ここで、図３に示された例では、画像５００が、１回目の再生時に表示された文字画像５０１と、２回目の再生時に表示された文字画像５０２Ａ，５０２Ｂとを含む。この例において、画像データ生成部１４０は、１回の繰り返し再生ごとに２組の文字画像を複製するように設定されている。さらなるスクラッチやＣｕｅポイントへのジャンプの操作によって同じ区間で３回目の再生が実行される場合、さらに２組の文字画像が複製されてもよいし、３回目以降は１回の繰り返し再生ごとに１組の文字画像が複製されてもよい。図示されているように、複製された文字画像５０２Ａ，５０２Ｂは、元の文字画像５０１とは位置をずらして表示される。また、複製された文字画像５０２Ａ，５０２Ｂは、元の文字画像５０１とは異なる大きさや色で表示されてもよい。

図４は、本発明の一実施形態で表示される画像の第２の例を示す図である。図示された例では、楽曲のタイムスタンプ「００’０９”２９」の時点で操作信号取得部１２０がハイパスフィルタをＯＮにする操作信号１２１を取得し、タイムスタンプ「００’１０”０１」の時点でハイパスフィルタをＯＦＦにする操作信号１２１を取得している。この場合、音声データ加工部１３０は、タイムスタンプ「００’０９”２９」から「００’１０”０１」までの区間において、楽曲の音声にハイパスフィルタをかける。テキスト関連データ１１２においてタイムスタンプに対応付けられた歌詞は、図３の例と同様である。画像データ生成部１４０は、ハイパスフィルタによって音声データ１１１が加工される上記の区間に含まれる歌詞、「Now the sun is shining」および「and the sky is blue.」について、図４に示された例の画像６００のように、文字画像６０１の上側の領域６０１Ａを濃い色で、下側の領域６０１Ｂを薄い色で表示する。

他の例において、画像データ生成部１４０は、文字画像６０１に上側で濃く、下側で薄くなるようなグラデーションを付けてもよい。画像データ生成部１４０は、下側の領域６０１Ｂを透明（非表示）にしてもよい。あるいは、画像データ生成部１４０は、色の変化とともに、または色の変化の代わりに、文字画像６０１の上側の領域６０１Ａと下側の領域６０１Ｂとの間で大きさを変化させ、上側の領域６０１Ａをより大きく、下側の領域６０１Ｂをより小さく表示してもよい。これらの場合において、画像データ生成部１４０は、文字画像６０１の高さ方向の領域のうちフィルタの周波数帯域に対応する領域、具体的にはハイパスフィルタによって通過させられる高周波数帯域に対応する上側の領域６０１Ａ、またはハイパスフィルタによってカットされる低周波数帯域に対応する下側の領域６０１Ｂを加工している。

図５は、本発明の一実施形態で表示される画像の第３の例を示す図である。図示された例では、楽曲のタイムスタンプ「００’０９”４７」の時点で操作信号取得部１２０がディレイをＯＮにする操作信号１２１を取得し、タイムスタンプ「００’０９”５０」の時点でディレイをＯＦＦにする操作信号１２１を取得している。あるいは、音声データ加工部１３０はディレイの持続時間を３秒間にするように設定されており、楽曲のタイムスタンプ「００’０９”４７」の時点で操作信号取得部１２０がディレイを実行する操作信号１２１を取得する。これらの場合、音声データ加工部１３０は、タイムスタンプ「００’０９”４７」から「００’０９”５０」までの区間において、楽曲の音声に所定の持続時間で残響音を付加する。ここで、テキスト関連データ１１２では上記の図３および図４の例とは異なり歌詞が単語単位でタイムスタンプに対応付けられており、タイムスタンプ「００’０９”４７」から「００’０９”５０」までの区間に対応付けられているのは「sky」「is」「blue」の各単語である。画像データ生成部１４０は、歌詞の中のこれらの単語について、図５に示された例の画像７００のように、文字画像７０１の輪郭をぼかす加工を実行する。

さらに、図示された例では、ディレイをＯＮにする操作の後、さらにディレイの残響音のレベルを上げる操作（例えば、操作部１２２のノブを回す操作）が実行されており、音声データ加工部１３０がこれらの操作による操作信号１２１に従って残響音のレベルを徐々に大きくした結果、残響音のレベルは歌詞「sky」の時点で最も小さく、「is」の時点でやや大きく、「blue」の時点でさらに大きくなっている。これに対応して、画像データ生成部１４０は、文字画像７０１のうち、歌詞「sky」を表示する文字画像７０１Ａの輪郭をわずかにぼかし、「is」を表示する文字画像７０１Ｂの輪郭を中程度にぼかし、「blue」を表示する文字画像７０１Ｃの輪郭を大きくぼかす。このように、画像データ生成部１４０は、文字画像の加工の程度を、ディレイやリバーブの残響音のレベルまたは遅延時間の長さに応じて決定してもよい。同様に、音声データ１１１の他の種類の加工の場合も、画像データ生成部１４０は、音声データ１１１の加工の程度に応じて文字画像の加工の程度を決定してもよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範囲内において、各種の変形例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１００…再生制御装置、１１０…データ取得部、１１１…音声データ、１１１Ａ…音声データ、１１１Ｔ…タイムスタンプ、１１２…テキスト関連データ、１１３…記憶装置、１２０…操作信号取得部、１２１…操作信号、１２２…操作部、１３０…音声データ加工部、１４０…画像データ生成部、１４１…画像データ、１５０…データ出力部、１５１…音声出力部、１５２…表示部、５００，６００，７００…画像、５０１，５０２Ａ，５０２Ｂ，６０１，７０１，７０１Ａ，７０１Ｂ，７０１Ｃ…文字画像。

Claims (7)

1. 楽曲内の再生位置情報に対応付けられた音声データ、および前記再生位置情報に対応付けられたテキスト関連データを取得するデータ取得部と、
   前記楽曲の制御に対する操作を示す操作信号を取得する操作信号取得部と、
   前記操作信号に応じて、前記再生位置情報によって特定される前記楽曲内の区間に対応付けられた前記音声データを加工する音声データ加工部と、
   前記テキスト関連データに基づいて文字画像を含む画像データを生成し、前記再生位置情報および前記操作信号に基づいて前記区間の歌詞を表示する前記文字画像を加工する画像データ生成部と、
   前記加工された音声データと前記画像データとを出力するデータ出力部と
   を備える再生制御装置。
2. 前記操作は、前記区間の繰り返し再生を含み、
   前記画像データ生成部は、前記繰り返しの回数に応じて前記文字画像を複製する、請求項１に記載の再生制御装置。
3. 前記複製された文字画像はそれぞれ異なる態様で表示される、請求項２に記載の再生制御装置。
4. 前記操作は、前記区間の音声に所定の周波数帯域のフィルタをかけることを含み、
   前記画像データ生成部は、前記文字画像の高さ方向の領域のうち前記所定の周波数帯域に対応する領域を加工する、請求項１から請求項３のいずれか１項に記載の再生制御装置。
5. 前記操作は、前記区間の音声に所定の遅延時間で残響音を付加することを含み、
   前記画像データ生成部は、前記文字画像の加工の程度は前記残響音のレベルまたは前記遅延時間の長さに応じて決定する、請求項１から請求項４のいずれか１項に記載の再生制御装置。
6. 請求項１から請求項５のいずれか１項に記載の再生制御装置としてコンピュータを機能させるように構成されたプログラム。
7. 楽曲内の再生位置情報に対応付けられた音声データ、および前記再生位置情報に対応付けられたテキスト関連データを取得するステップと、
   前記楽曲の制御に対する操作を示す操作信号を取得するステップと、
   前記操作信号に応じて、前記再生位置情報によって特定される前記楽曲内の区間に対応付けられた前記音声データを加工するステップと、
   前記テキスト関連データに基づいて文字画像を含む画像データを生成し、前記再生位置情報および前記操作信号に基づいて前記区間の歌詞を表示する前記文字画像を加工するステップと、
   前記加工された音声データと前記画像データとを出力するステップと
   を含む再生制御方法。
   

Images