JP4314201B2 - 歌詞と音楽との同期データ作成方法、装置、プログラムおよびプログラムを記録する記録媒体 - Google Patents

Description

本発明は、小型ディスプレイ上で音楽に同期した歌詞を表示する場合における歌詞と音楽との同期データ作成方法、装置、プログラムおよびプログラムを記録する記録媒体に関するものである。

音楽データの再生とともに、歌詞データがディスプレイ上に表示される音声再生装置として、カラオケ装置が周知である。このような音楽データと歌詞データの同期を行うためのタイムスタンプデータの作成が、パソコン（ＰＣ）のような個人用の情報処理装置においても実現可能となっている。また、作成したタイムスタンプデータを基に、ＰＣ上で音楽を再生すると、音楽に同期した歌詞がディスプレイ上に表示される。

ＰＣのような個人用の情報処理装置における、歌詞と音楽との同期処理の一般的な方法について図１１を参照しながら以下説明する。図１１は、従来技術として、個人用情報処理装置における歌詞と音楽との同期処理の流れを示したフロー図である。

図１１において、ユーザが、音楽データとその歌詞データを指定することにより、処理が開始される。ステップＳＴ１１０１において、ユーザが指定した音楽データ、歌詞データを記録媒体から読み込む。ステップＳＴ１１０２において、読み込んだ音楽データの再生を開始する。

ステップＳＴ１１０３において、読み込んだ歌詞データをディスプレイ上の歌詞ウィンドに表示する。このとき、歌詞ウィンドには前記読み込んだ歌詞データが、表示することのできるデータ量だけ示される。そして、同期処理を行う未処理の１行を、他の行と背景を変えるなどして強調表示を行い、処理を行う１行をユーザに示す。また、歌詞全体が歌詞ウィンドに表示できなくて、強調表示する行が歌詞ウィンドに表示されていない場合、歌詞ウィンドが自動でスクロールし、強調表示する行が表示される。

ステップＳＴ１１０４において、ユーザからのタイムスタンプデータ作成の通知を待つ。このとき、ユーザは、強調表示されている１行の歌詞を音楽の再生中に表示したいタイミングで、マウスをクリックする。ユーザからの通知があれば、ステップＳＴ１１０５へ進む。ステップＳＴ１１０５において、ユーザから通知があった時点の音楽の再生開始からの時間に連動して、強調表示していた１行の歌詞がディスプレイに表示されるように、タイムスタンプデータを作成する。

ステップＳＴ１１０６において、歌詞データに次の歌詞の行があるかの判断を行う。次の歌詞の行がない場合、ＮＯが選択されて処理が終了する。その他の場合は、ＹＥＳが選択され、次の未処理の１行の処理を行うため、処理がステップＳＴ１１０３へ進む。

また、図１１のフローに示した同期処理では、１行の歌詞の表示を開始するタイムスタンプの付加方法について述べたが、表示を終了するタイムスタンプの付加を行うものも周知である。上述した従来技術の同期処理によって、タイムスタンプデータを作成することにより、ユーザの求めるタイミングで歌詞の表示開始、終了が可能となる。

しかしながら、上記従来技術による歌詞と音楽との同期処理では次のような課題がある。ここで、タイムスタンプデータ（例えば、図８に示すように、音楽の再生開始からの経過時間を示すタイムスタンプ８０２，８０４を含むタイムスタンプデータ８０１）と同期付けられた音楽データを、ポータブルオーディオプレイヤやそれに付随するリモコンなど、表示能力が６文字〜１２文字程度の小型ディスプレイ上で再生を行う場合を想定する。小型ディスプレイの表示能力が小さいため、歌詞データによっては、１行すべてを表示できない場合がある。

歌詞データの１行（例えば、図３に示すような１行３０１又は３０２）に対して１つのタイムスタンプを付加する従来技術では、その１つのタイムスタンプが表示するのは、１行の歌詞データである。このような小型ディスプレイ上で１行の歌詞データの表示を行おうとすると、１行の歌詞の前方部分のみ表示されるが、後方部分は表示させることができないことがある。

従来技術において、小型ディスプレイ上ですべての歌詞を表示するためには、同期処理を行う前に、ユーザは歌詞データの１行の長さを短くするという編集作業が必要であった。即ち、ＰＣなどで小型ディスプレイに表示可能な文節のまとまり毎に歌詞を、ユーザが改行する必要があった。

さらに、小型ディスプレイに表示された歌詞に相当する音楽部分からの再生をユーザが希望したとしても、１行単位にしかタイムスタンプがついていないので、小型ディスプレイに表示された歌詞に相当する部分から再生できなかった。

そこで、本発明の目的は、小型ディスプレイ上で音楽データと同期の取れた歌詞データを表示させるためのタイムスタンプデータの作成処理に際して、この作成処理以前における歌詞データの編集作業を省略可能とすることで効率的な歌詞と音楽との同期データ作成を行うことにある。また、音楽データの再生スピードを遅く設定することで十分な時間間隔で同期の作成処理を行い得てタイムスタンプ付加の失敗を軽減することにある。

前記課題を解決するために、本発明は主として次のような構成を採用する。
音楽データを再生する再生部と歌詞データを表示する表示部とを備えて、音楽に連動した歌詞表示を行わせるための音楽と歌詞との同期データ作成装置であって、前記表示部に表示するのに適した前記歌詞データの表示単位を決定し、前記歌詞データの表示単位毎に歌詞表示時間を付加して音楽と歌詞との同期データを作成するに際して、作成しようとする表示単位の歌詞データの前に同期データとして作成された表示単位の歌詞データにおける仮名変換した文字数と、該歌詞データの歌詞表示時間とから求めた仮名変換した１文字当たりの再生時間を用いて、同期データを作成しようとする表示単位の歌詞データの再生時間を予測し、前記予測した再生時間に基づいて前記作成しようとする表示単位の音楽データの再生スピードを調整する構成とする。

本発明によると、小型ディスプレイ上で音楽データと同期の取れた歌詞データを表示させるためのタイムスタンプデータを作成する以前の、従来必要とした歌詞データの編集作業を省略することができる。

また、小型ディスプレイ上でも同期処理が行え、さらに、小型ディスプレイ上で表示される文節のまとまりをユーザが指定することによって、音楽データを、その文節のまとまりに相当する再生開始からの時間から再生可能とすることができる。

また、音楽データの再生スピードを遅く設定することで、ユーザは十分な時間間隔を持って同期処理が行うことができ、これにより容易に同期処理が行えるため、タイムスタンプ付加の失敗を軽減することができる。

本発明の実施形態に係る歌詞と音楽との同期データ作成方法・作成装置について、図１〜図１０を参照しながら以下詳細に説明する。本発明の実施形態は、表示可能な最大文字数が例えば６〜１２文字程度の表示能力しかない、小型ディスプレイ上で歌詞を表示する際の歌詞と音楽との同期を取る同期データ作成の方法・装置に関するものである。

図１は、本発明の実施形態に係る歌詞と音楽との同期データ作成装置の構成を示すブロック図である。図１に示すように、歌詞と音楽との同期データ作成装置は、歌詞データ読み込み部１０１、音楽データ読み込み部１０２、文節解析部１０３、歌詞表示部１０４、再生部１０５、制御部１０６、ユーザ入力部１０７、タイムスタンプ記録部１０８から構成される。

歌詞データ読み込み部１０１は、制御部１０６から転送されたファイル名を基に、図示しない記録媒体から歌詞データを読み込み、図示しないメモリに記録する。歌詞データとは、歌詞が記録されている所定の形式のデータである。以下、歌詞データがテキスト形式のデータである場合を例に説明する。

音楽データ読み込み部１０２は、制御部１０６から転送されたファイル名を基に、指定の音楽データを読み込み、読み込んだデータを再生部１０５に転送する処理を行う。音楽データとは、音楽が記録されている所定の形式のデータである。以下、音楽データがＷＡＶ，ＭＰ３，ＡＡＣなどのデジタル形式のデータである場合を例に説明する。

文節解析部１０３は、まず、図示しないメモリに記録されている歌詞データを文節に分解する。そして、分解された文節を、小型ディスプレイに表示可能でかつ適切な長さとなるように文節をまとめる。以下、このような文節のまとまりを表示単位と称する。詳細は後述するが、図４を参照すると、分解された歌詞データの文節は符号４０１〜４０６であり、文節のまとまり、即ち表示単位は符号４０７〜４１０を云う。さらに、制御部１０６からの指示により、歌詞表示部１０４と制御部１０６に表示単位の歌詞データを転送する。

歌詞表示部１０４は、文節解析部１０３から転送された表示単位の歌詞データを、歌詞表示部１０４が備えているディスプレイに表示する。再生部１０５は、音楽データ読み込み部１０２から転送された音楽データを、スピーカやヘッドフォンで聞くための一連の再生処理を行う。例えば、符号化された音楽データの復号処理を行ったり、音量を調整したり、デジタルからアナログに変換したりといった処理を行う。また、再生部１０５は音楽の再生開始からの時間を管理している。

制御部１０６は次のような処理を行う。（１）ユーザ入力部１０７の通知により、歌詞データと音楽データそれぞれのファイル名を、歌詞データ読み込み部１０１と音楽データ読み込み部１０２にそれぞれ転送する。（２）ユーザ入力部１０７の通知により、文節解析部１０３に作成された表示単位の歌詞データを転送するように指示する。また、転送された表示単位の歌詞データを、タイムスタンプ記録部１０８に転送する。（３）ユーザ入力部１０７の通知により、再生部１０５に時間情報を転送するよう指示する。また、転送された時間情報を、タイムスタンプ記録部１０８に転送する。

ユーザ入力部１０７は、ボタン等による操作があったことを制御部１０６に通知する。タイムスタンプ記録部１０８は、制御部１０６から転送されてきた時間情報と表示単位の歌詞データとを図示しないメモリに記録し、その後記録媒体へ記録する。

次に、本発明の実施形態に関する歌詞と音楽との同期データ作成装置の動作について、図２を参照しながら説明する。図２は、歌詞と音楽との同期処理の流れを示すフロー図である。記録媒体に記録されている歌詞データと音楽データの中から、同期処理を行うものをユーザがユーザ入力部１０７により選択することで、処理が開始する。また、図２に示すフローの途中で、音楽の再生が終了した場合は処理を終了する。

ステップＳＴ２０１において、歌詞データ読み込み部１０１は、歌詞データを図示しないメモリに記録する。音楽データ読み込み部１０２は、音楽データを記録媒体から読み出し、再生部１０５に転送する。ステップＳＴ２０２において、再生部１０５は音楽データ読み込み部１０２から送られてきた音楽データの再生を行う。

ステップＳＴ２０３において、文節解析部１０３は、図示しないメモリ上の歌詞データの未処理の行を図示しない内部メモリに１行読み込む。読み込んだ１行の歌詞データについて、文節を解析することによって、表示単位を決定する。ここで、後述するが、歌詞データの１行とは、図３に示す符号３０１のこと、歌詞データの文節とは、図４に示す符号４０１〜４０６のこと、歌詞データの表示単位とは図４に示す符号４０７〜４１０のことをそれぞれ云う。決定した表示単位毎の文字数を図示しない内部メモリに記録する。

図３は、歌詞データの例を示す図である。また、図４は、図３に示した１行の歌詞データ３０１にステップＳＴ２０３の処理を適用した結果を示す図である。図３における１行の歌詞データ３０１（所定区間の歌詞データの一例）は、図４に示した表示単位４０７〜表示単位４１０に分解される。このとき、表示単位４０７〜４１０それぞれの文字数を表す、表示単位文字数４１１〜４１４とデータ４１５が図示しない内部メモリに記録される。ここで、データ４１５は、１行の処理が終了したことを判定する際に用いるためのデータであり、図４では「終了」と記載しているが、実際には表示単位の文字数以外の数字が用いられる。なお、ステップＳＴ２０３の処理の詳細は後述する。

ステップＳＴ２０４において、ユーザからのタイムスタンプデータ作成の依頼を待つため、制御部１０６は、ユーザ入力部１０７からの通知を待ち続ける。ユーザ入力部１０７からタイムスタンプデータ作成依頼の通知が来た場合、処理がステップＳＴ２０５に進む。ここで、後述するが、タイムスタンプデータとは図８に示す符号８０１を云い、タイムスタンプとは符号８０２，８０４のことを云う。ステップＳＴ２０５において、文節解析部１０３は、歌詞表示部１０４へ表示単位の歌詞データを転送し、歌詞表示部１０４は転送された歌詞データをディスプレイに表示する。

次に、文節解析部１０３が表示単位の歌詞データを転送する処理について説明する。図３における１行の歌詞データ３０１の処理を行うとした場合、文節解析部１０３は、内部メモリには、既に１行の歌詞データ３０１の行と図４に示した表示単位文字数４１１〜４１４とデータ４１５が記録されている。制御部１０６から指示があると、文節解析部１０３は、内部メモリに記録している歌詞データの表示単位文字数４１１の文字数分を、歌詞表示部１０４に転送する。即ち、表示単位４０７の歌詞データ（「思い出たちも」）を転送する。そして、文節解析部１０３は、内部ポインタを次に転送する歌詞データの先頭メモリアドレスに設定することで、次に転送する歌詞データの準備をする。

次に、制御部１０６から指示があると、文節解析部１０３は、内部メモリに記録している歌詞データの表示単位文字数４１２の文字数分を、歌詞表示部１０４に転送する。即ち、表示単位４０８の歌詞データ（「霞んではイタズラな」）を転送する。このように、文節解析部１０３は、制御部１０６の指示により、歌詞データを表示単位毎に、歌詞表示部１０４に転送する処理を行う。また、文節解析部１０３は、タイムスタンプデータ用に、制御部１０６へも同様の表示単位の歌詞データを転送する。

ステップＳＴ２０６において、タイムスタンプデータの作成を行う（タイムスタンプは後述する図８に示す符号８０２，８０４のこと）。制御部１０６の指示により、再生部１０５は、時間情報を制御部１０６に転送する。制御部１０６は、再生部１０５から転送された時間情報をタイムスタンプとして、タイムスタンプ記録部１０８に転送する。制御部１０６は、文節解析部１０３から既に転送されている歌詞データをタイムスタンプ記録部１０８に転送する。タイムスタンプ記録部１０８は、転送されたタイムスタンプ、歌詞データを内部メモリに記録し、その後記録媒体に記録する。

ステップＳＴ２０７において、文節解析部１０３は、次に表示する表示単位があるかを、図４に示すデータ４１５で判断する。この判断の仕方について説明すると、文節解析部１０３は、制御部１０６の指示により、内部メモリに記録している表示単位の文字数分の転送が終了すると、次に表示するべき表示単位の文字数の確認をする。次に表示するべき文字数が、図４に示すデータ４１５の値ならば、ＮＯが選択され、処理がステップＳＴ２０８に進む。それ以外は、ＹＥＳが選択され、処理がステップＳＴ２０４に進む。

ステップＳＴ２０８において、文節解析部１０３は次の歌詞の行があるかどうかを、歌詞データファイルのエンド（例えば、ＥＯＦ）、改行コードが存在するか、などにより判断する。次の行がある場合はＹＥＳを選択し、ステップＳＴ２０９の処理へ進む。それ以外はＮＯが選択され、処理が終了する。ステップＳＴ２０９において、文節解析部１０３は、１行の歌詞データが記録された図示しない内部メモリ部分を開放し、処理がステップＳＴ２０３に進む。

以上説明した歌詞と音楽との同期データ作成処理は、図２に示す処理手順を記述したソフトウェア（プログラム）の動作によっても実行することができる。また、このプログラムを記録した記録媒体も本発明の実施形態に含まれる。

次に、翻って、図２に示すステップＳＴ２０３の詳細について説明する。図５は、図２に示すステップＳＴ２０３（文節解析部１０３）の具体的処理の一例を示すフロー図である。処理を開始するに当たり、文節解析部１０３は、図示しないメモリに記録されている歌詞データから、同期処理を行う１行の歌詞データを図示しない内部メモリに記録しており、また、予め小型ディスプレイに表示を行うことのできる最大文字数Ａ（例えば、９）の設定がされているとする。ここで、最大文字数Ａはユーザが指定できるものであって良い。

ステップＳＴ５０１において、文節解析部１０３は、構文の係り受け関係、構文の木構造の作成、辞書データの参照などを行い、構文を解析することによって、１行の歌詞データを文節に分解する（図４の１行の歌詞データ３０１、文節４０１〜４０６を参照）。分解に際し得られた１行の歌詞データの全文字数Ｋを、文節解析部１０３は、図示しない内部メモリに記録する。ステップＳＴ５０２において、文節解析部１０３は、まだ表示単位と決まっていない文節の文字数が、小型ディスプレイに表示できる最大文字数Ａを超えていないかを判断する。ここで、表示単位と決まっていないとは表示単位としてまとめられていない文節を指す（本実施形態では、大略、１行歌詞データを文節に分解後に、最大文字数Ａを考慮に入れて表示単位の歌詞データ４０７〜４１０を作成するのである）。表示単位とすると決まっていない文節の文字数がＡより大きい場合は、ＹＥＳが選択され、処理がステップＳＴ５０７へ進む。それ以外はＮＯが選択され、処理がステップＳＴ５０３へ進む。

ステップＳＴ５０３において、文節解析部１０３は、まだ表示単位と決まっていない残りの歌詞データを小型ディスプレイに表示するのに最低必要な表示単位の数Ｎを次のようにして算出する。（１）表示単位と決まっていないすべての文字数の和ＫをＡで割る。（２）Ｋ／Ａで計算した余りを繰り上げ、整数値とする。（２）で定まった整数値がＮの値となる。ただし空行も歌詞とみなすために、Ｋ＝０の場合は、Ｎ＝１とする。このステップＳＴ５０３の具体例は後述する。

ステップＳＴ５０４において、文節解析部１０３は、Ｋ／Ｎを算出し、Ｋ／Ｎの値に最も近く、かつ最大文字数Ａを超えないように文節をまとめ、１つの表示単位を決定する（図４の例では、文節４０２と４０３をまとめて１つの表示単位４０８としている。）。ここでＫ／Ｎは、文節を考慮しないで、文字数が均一になる値である。この値に近づくよう、表示単位を決定することで、表示単位の文字数が、極端に少なくなるのを防ぐ。

ステップＳＴ５０５において、文節解析部１０３は、１行の歌詞の文節がすべて表示単位として決まったか判定を行う。これは、最低必要な表示単位の数Ｎの値で判断する。Ｎ＝１ならば文節がすべて表示単位と決定したことを表しているので、ＹＥＳが選択され、処理が終了する。それ以外はＮＯが選択され、処理がステップＳＴ５０６へ進む。ステップＳＴ５０６において、文節解析部１０３は、ステップＳＴ５０５で決定した表示単位の文字数をＫから減算した値を新たなＫとして更新する。

ステップＳＴ５０７において、文節解析部１０３は、一つの文節で既に最大文字数Ａを超えているので、まだ表示単位としてまとまっていない文節の最初から数えたＡ文字（最大表示文字数Ａの例えば、９文字）までを一つの表示単位とする。そして、表示単位として決まっていない文節の最初から数えたＡ文字以降を１つの文節とする。

次に、図３に示す1行の歌詞データ３０１，３０２，３０３の３つの例を用いて、図５に示すフローの処理を具体的に示す。ここで、最大文字数Ａ＝９が設定されているとする。

「歌詞データ３０１の例」
図３の1行の歌詞データ３０１への処理について、図４を用いて示す。ステップＳＴ５０１において、図３における１行の歌詞データ３０１は、図４に示す文節４０１〜文節４０６に分解される。文節４０１〜文節４０６の文節の文字数は、それぞれ６，４，５，４，５，２で、全文字数Ｋは、６＋４＋５＋４＋５＋２＝２６である。

ステップＳＴ５０２において、表示単位はまだ決めていないので、１行の歌詞データ３０１の文節４０１の文字数６と最大文字数Ａ＝９を比較する。６＞９は成立しないため、ＮＯが選択され、処理がステップＳＴ５０３へ進む。ステップＳＴ５０３において、Ｋ／Ａ ＝２６／９≒２．９が算出され、Ｎ＝３となる。

ステップＳＴ５０４において、Ｋ／Ｎ＝２６／３≒８．６７が算出される。そして、Ｋ／Ｎの値に最も近く、Ａを超えない表示単位を決める。図６は本発明の実施形態における、図３に示す１行の歌詞データ３０１の表示単位を決定する方法を示す図である。図６に示す境界位置６０１〜境界位置６０６は、図４における１行の歌詞データ３０１の文節４０１〜文節４０６の境界位置を表している。図６に示す第１境界決定数直線６０７は、文節４０１からスタートした、各文節の文字数を距離として示す図である。Ｋ／Ｎ値６０８は、前記計算したＫ／Ｎ値である。これに一番近いのは、境界位置６０２である。しかし、境界位置６０２では６＋４＝１０文字と最大文字数Ａ＝９を超えているため、次に近い境界位置６０１が決定される。つまり、境界位置６０１までの、文節４０１を、第１の表示単位４０７とする。

ステップＳＴ５０５において、Ｎ＝３なので、ＮＯが選択され、処理がステップＳＴ５０６に進む。ステップＳＴ５０６において、現在のＫ＝２６から、表示単位として区切られた境界位置６０１までの文字数６を減算した、Ｋ＝２６−６＝２０が更新される。次に、また処理がステップＳＴ５０２に進む。ステップＳＴ５０２において、まだ表示単位として決まっていない文節４０２の文字数４と最大文字数Ａ＝９を比較する。４＞９は成立しないため、ＮＯが選択され、処理がステップＳＴ５０３へ進む。以下、同様な手順を踏むため、詳細な説明は省略する。

第２境界決定数直線６０９は、文節４０２からスタートした、各文節の文字数を距離として示す図である。次の処理により、境界位置６０３までの、文節４０２と文節４０３のまとまりを、第２の表示単位４０８として決定される。すなわち、Ｋ／Ｎ＝２０／３＝６．６７に最も近く且つ最大文字数９を超えない境界位置は６０３であるので、文節４０２と４０３をまとめたものが１つの表示単位４０８と決定されるのである。

第３境界決定数直線６１０は、文節４０４からスタートした、各文節の文字数を距離として示す図である。同様の処理により、境界位置６０４までの文節４０４を、第３の表示単位４０９として決定される。

第４境界決定数直線６１１は、文節４０５からスタートした、各文節の文字数を距離として示す図である。同様の処理により、境界位置６０６までの、文節４０５と文節４０６のまとまりを、第４の表示単位４１０として決定される。ステップＳＴ５０５において、文節がすべて表示単位と決定したので、Ｎ＝１となっており、ＹＥＳが選択され、処理が終了する。

「歌詞データ３０２の例」
図３の1行の歌詞データ３０２への処理について、図７を用いて示す。図７は、図３に示した１行の歌詞データ３０２に図５に示すフローの処理を適用した結果を示す説明図である。

ステップＳＴ５０１において、図３における１行の歌詞データ３０２は、図７に示す文節７０１、文節７０２に分解されるものとする。文節７０１、文節７０２の文字数は、それぞれ１５，５で、全文字数Ｋは、１５＋５＝２０である。ステップＳＴ５０２において、表示単位はまだ決めていないので、最初の文節７０１の文字数１５と最大文字数Ａ＝９を比較する。１５＞９は成立するため、ＹＥＳが選択され、処理がステップＳＴ５０７へ進む。

ステップＳＴ５０７において、文節７０１が最大文字数Ａを超えており、一度に小型ディスプレイに表示することはできないため、最大文字数Ａで区切りを入れる。即ち、文節７０１を文字数Ａの文節７０３と文字数Ｂ−Ａの文節７０４に分割して、文節７０３を一つの表示単位７０５とする。そして、表示単位と決まっていない文節７０４からステップＳＴ５０２の処理を行い、歌詞データ３０１を挙げて説明した上述と同様の処理を繰り返す。

「歌詞データ３０３（空行）の例」
図３の1行の歌詞データ３０３（空行）への処理を示す。ステップＳＴ５０１において、図３における１行の歌詞データ３０３は空行であるため、文節の文字数は０、全文字数Ｋも０である。ステップＳＴ５０２において、表示単位はまだ決めていないので、１行の歌詞データ３０３の文字数０と、最大文字数Ａ＝９を比較する。０＞９は成立しないため、ＮＯが選択され、処理がステップＳＴ５０３へ進む。

ステップＳＴ５０３において、Ｋ＝０なので、Ｎ＝１となる。ステップＳＴ５０４において、１行の歌詞データ３０３を表示単位と決定する。これにより、空行の歌詞の行が表われたときも歌詞データと認識され、ディスプレイ上には見かけ上、何も表示されない。空行は間奏を表していることがしばしばあり、ユーザは同期処理中にそれを知ることができ、またタイムスタンプを付けやすくなる効果がある。ステップＳＴ５０５において、Ｎ＝１なので、ＹＥＳが選択され、処理が終了する。

次に、翻って、図２に示すステップＳＴ２０６で作成されるタイムスタンプデータの一例について説明する。図８は、図３における１行の歌詞データ３０１，３０２にタイムスタンプを付加したタイムスタンプデータを示す図である。

ユーザがボタンを押すと、タイムスタンプ８０２と表示単位８０３がタイムスタンプ記録部１０８内の図示しない内部メモリに記録され、その後、記録媒体に記録される。次に、ユーザがボタンを押すと、タイムスタンプ８０４と表示単位８０５がタイムスタンプ記録部１０８内の図示しない内部メモリに記録され、その後、記録媒体に記録される。このようにして、タイムスタンプ記録部１０８が、図８に示すタイムスタンプデータ８０１を作成する。

次に、図８に示すタイムスタンプデータを用いた音楽再生時の歌詞表示の動作について説明する。音楽の再生が開始され、再生開始からの時間がタイムスタンプ８０２になった場合、表示単位の歌詞８０３を小型ディスプレイに表示する。そして、時間がタイムスタンプ８０４になった場合に、表示単位の歌詞８０５の表示を行うといった所定の処理を繰り返す。また、音楽の途中から歌詞を表示するようユーザからの通知があった場合、通知があった時点での音楽の再生開始から時間を取得する。タイムスタンプデータを参照し、取得した時間以前で、一番近い時間のタイムスタンプを検索する。そして、検索したタイムスタンプで表示される表示単位の歌詞を表示する。このようにすることで、音楽の再生にあわせ、歌詞の表示ができる。

従来技術として、表示されている歌詞をユーザが指定することにより、タイムスタンプデータから、その歌詞を表示するべき再生開始からの時間を特定し、その時間から音楽の再生を開始することが知られている。いま、表示単位にタイムスタンプがついているので、小型ディスプレイに表示される単位での音楽の再生時間の特定ができる。即ち、小型ディスプレイに表示できる単位で、正確にその音楽の再生開始からの時間へジャンプができる。

次に、図２に示すステップＳＴ２０６において、間奏のタイムスタンプデータを作成する処理の一例を示す。図９は、ステップＳＴ２０６における、間奏を入れたタイムスタンプデータを作成する処理を示すフロー図である。なお、間奏のスタンプデータの作成処理についての具体例は後述の図１０で説明する。

ステップＳＴ９０１において、ユーザがボタンを押したとユーザ入力部１０７から通知があると、制御部１０６は、再生部１０５に指示を出す。指示に従い、再生部１０５は、時間Ｔ１を制御部１０６に転送する。ステップＳＴ９０２において、制御部１０６は、転送された時間Ｔ１を、タイムスタンプデータに記録するべき形のデータに変換し、タイムスタンプ記録部１０８に転送する。タイムスタンプ記録部１０８は、転送された時間Ｔ１を記録する（例えば、図１０に示す符号１００３を参照）。

ステップＳＴ９０３において、ユーザがボタンを離したとユーザ入力部１０７から通知があるまで、制御部１０６は処理を待ち続けるため、ＮＯが選択される。ユーザがボタンを離したと通知があると、ＹＥＳが選択され、処理がステップＳＴ９０４へ進む。ステップＳＴ９０４において、ユーザがボタンを離した時点で、ステップＳＴ９０１と同様に、制御部１０６は、再生部１０５に指示を出す。その指示に従い、再生部１０５は、時間Ｔ２を制御部１０６に転送する（例えば、時間Ｔ２は図１０の例で符号１００４を云う）。

ステップＳＴ９０５において、制御部１０６は、予め設定しておいた時間の閾値Ｓ（例えば、５秒）とＴ２−Ｔ１を比較する。Ｔ２−Ｔ１＞Ｓが成立するならば、歌詞と歌詞の間には間奏があるとみなし（図１０の例で云えば、表示単位の歌詞データ１００２と１００５の間に間奏があるとする）、ＹＥＳが選択され、処理がステップＳＴ９０６へ進む。それ以外はＮＯが選択され、処理がステップＳＴ９０７へ進む。ステップＳＴ９０６において、時間Ｔ２をステップＳＴ９０２の処理と同様の方法で記録し、ステップＳＴ９０７へ進む。ステップＳＴ９０７において、タイムスタンプ記録部１０８は、表示単位の歌詞をメモリに記録し、その後記録媒体に記録する。

次に、図１０の例を用いて、図９に示すフローの処理を具体的に示す。図１０は、図９に示すフローの処理を、図３における１行の歌詞データ３０１から歌詞データ３０２に適用した結果の一例を示す図である。表示単位の歌詞１００２の処理から説明を開始する。また、時間の閾値Ｓを５秒と設定しているとする。通常、表示単位の歌詞１００２の音楽再生が終了した時点で、ユーザはボタンを押す。

ステップＳＴ９０１において、押した時点での時間Ｔ１（タイムスタンプ１００３）が取得される。ステップＳＴ９０２において、時間Ｔ１（タイムスタンプ１００３）が記録媒体に記録される。ステップＳＴ９０３において、ユーザがボタンを離した時点で、ＹＥＳが選択され、ステップＳＴ９０４へ進む。

ステップＳＴ９０４において、時間Ｔ２（タイムスタンプ１００４）が取得される。ステップＳＴ９０５において、Ｔ２−Ｔ１＝８秒＞閾値Ｓ＝５秒が成立するので、ＹＥＳを選択し、ステップＳＴ９０６へ進む。ステップＳＴ９０６において、時間Ｔ２（タイムスタンプ１００４）を記録媒体に記録する。ステップＳＴ９０７において、次の表示単位の歌詞１００５が記録媒体に記録される。このようにして、図１０に示すタイムスタンプデータ１００１が得られる。

次に、図１０に示すタイムスタンプデータを用いた音楽再生時の歌詞表示の動作について説明する。音楽の再生が開始され、再生開始からの時間がタイムスタンプ１００３になった場合、タイムスタンプ１００４になるまで、表示単位の歌詞１００５の表示を行わない。これは、タイムスタンプの次のデータが、またタイムスタンプのデータでないかどうかで判断する。時間がタイムスタンプ１００４になると、表示単位の歌詞１００５の表示を行う。これにより、間奏を入れたタイムスタンプデータの作成が可能となり、より正確に音楽にあわせた歌詞の表示が行える。

また、本実施形態において、歌詞データを文節に分解し、文節のまとまりとして表示単位を決定したが、例えば単語に分解し、そこから単語のまとまりを作成して表示しても良いし、小型ディスプレイに表示できる最大文字数Ａ毎に表示しても良いし、その他方法で表示してもかまわない。また、本実施形態において、歌詞１行毎に表示単位を決定していたが、例えば歌詞すべてに対して先に表示単位を決定するというように、歌詞のその他単位毎に決定してもかまわない。また、本実施形態において、ユーザが同期処理を行うとしたが、音楽データの音声を認識することによって、自動で同期処理が行えるとしても良い。

また、本実施形態において、歌詞データは、ユーザがＷＥＢサイトから購入したり、購入したＣＤの歌詞カードを写したり、歌詞データを記録・管理しているデータベースなどから自動でダウンロードしたり、音楽データの音声を認識することにより作成されたりと、歌詞データの入手・作成方法はどのような形であっても良い。

また、本実施形態において、例えばＰＣ用のディスプレイなどの大きな画面で一連の処理を行っても、小型ディスプレイ上で一連の処理を行っても良い。また、ＰＣ用のディスプレイなどで本発明を行う際、１行の歌詞データを複数行並べて処理できる。この場合は、例えば表示単位の歌詞を他の歌詞と区別すべく、処理を行っている表示単位の歌詞のフォントを他と変えたり、背景部分の色を他と変えたりと、その他歌詞と区別して処理を行う。

また、ポータブルオーディプレイヤに付随するリモコンの液晶ディスプレイなどでは、１行あたりの表示文字数が６〜１２文字程度で複数行の表示が可能なものがある。表示可能な行数が例えば３行の場合、１行目にタイムスタンプの付加する表示単位の歌詞の表示を、２行目にはその次の表示単位の歌詞を、３行目にはさらにその次の表示単位の歌詞を表示する。１行目の処理が終了すると同時に、今までの表示されていた２行目を１行目へ、３行目を２行目へ、３行目にはその次の表示単位の歌詞を表示する。又は、２行目にタイムスタンプを付加する表示単位の歌詞の表示を行い、１行目には処理が終了した前表示単位の歌詞を、３行目には次処理を行う表示単位の歌詞の表示を行うなど、その他方法であっても良い。

また、表示に際しては、音楽の再生開始からの時間を表示するなど、この他情報をディスプレイに表示を行い、同期処理を行ってもかまわない。このように構成することにより、ユーザはより快適に、スムーズに同期処理を行える。

また、本実施形態において、ユーザがボタンを押した時点の、又は離した時点の音楽の再生開始からの時間をタイムスタンプとして用いて説明を行ったが、例えばボタンを押した、又は離した時点での音楽の再生開始からの時間より数秒前に設定するなど、ユーザがボタンを操作した時点の開始から時間をタイムスタンプデータとして用いなくても良い。一般に、歌詞は、その歌詞部分の音楽再生が始まる前に表示されていることが好ましい。このように、タイムスタンプをユーザがボタンを押した時点の再生開始からの時間で構成せず、その時間より数秒前に設定することにより、よりユーザに好ましい音楽と同期の取れた歌詞の表示が行える。

また、本実施形態において、音楽再生のスピードを変更して処理を行っても良い。再生スピードは、ユーザが指定できるものであっても良いし、自動で設定されるものであってもよい。歌詞が早く再生されるため、同期処理が困難な場合は、再生スピードを遅くすることにより、ユーザは同期処理を容易に実施でき、また、タイムスタンプ付加の失敗が少なくなる。反対に、歌詞が遅く再生される場合は、再生スピードを上げることにより、ユーザはすばやく同期処理が行える。また、再生スピードは、歌詞の全体、行単位、表示単位、の内少なくとも１つの単位で再生スピードを変化させて良い。

例えば、行単位で再生スピードを変化させる場合について、その再生スピードを決定する例を説明する。処理する歌詞の行の前行の歌詞の表示開始Ｕ１と表示終了Ｕ２のタイムスタンプから、前行を表示するのにかかる時間Ｕ２−Ｕ１を算出する。前行の漢字を辞書データなどにより仮名に変換を行い、文字数Ｃをカウントし、Ｕ２−Ｕ１／Ｃを計算する。この結果、前行の１文字が再生においてどの程度の時間を有したか分かる。次に、処理を行う歌詞の行の漢字を仮名に変換する。表示単位の歌詞毎に仮名に変換した際の文字数を算出する。

そして、仮名に変換した際の文字数が最小となる表示単位の文字数Ｌを算出し、Ｌ×（Ｕ２−Ｕ１）／Ｃを算出する。この結果を用いて、表示単位の歌詞の表示開始から終了までの最小時間を予測する。この最小時間は、ユーザがボタン操作を行う最小の時間間隔であると予測できる。この時間間隔があまりに短い場合は、その行を他の行よりスロースピードで再生する。例えば、予め再生スピードに対する閾値を設定しておき、Ｌ×（Ｕ２−Ｕ１）／Ｃとその閾値を比較し、再生スピードを調整する方法であっても良い。このように構成することにより、小型ディスプレイなど、画面が非常に小さい場合でも、ユーザは同期処理を容易に行える。反対に、時間間隔が長い場合は、再生スピードをハイスピードに設定して、ユーザが早く同期処理を終了できるように構成を行ってもよい。

また、本実施形態において、タイムスタンプ付加に失敗した場合、以下に示す方法によって、簡単にその修正が可能となる。ユーザは表示単位の歌詞を間違う以前の表示単位の歌詞に表示位置を移動し、ボタンを押す。ボタンを押すことによって、これまで記録したタイムスタンプデータのタイムスタンプを基に、その表示単位の歌詞部分から音楽の再生を開始させ、再度同期処理を行う。この再度同期処理によって、古いタイムスタンプデータは上書きされる。このように構成することにより、ユーザはタイムスタンプデータの修正を容易に行える。

また、本実施形態において、歌詞データにタイトルや歌手名などが入っている場合は、それを跳ばした、最初の歌詞の位置から同期処理を行う構成であっても良い。さらに、歌詞の１行に、空白がある場合、そこまでを歌詞の１行と見て処理を行う構成であっても良い。また、空行でない歌詞の１行と次の空行でない歌詞までの改行数、即ち空行数が複数ある場合は、その複数の空行を１つの空行とみなして、同期処理を行う構成であっても良い。このように構成することにより、ユーザはより快適に同期処理を行える。

以上説明したように、本発明の要旨は次のような構成と効果を具備することを特徴とするものである。すなわち、音楽データを再生する再生手段と、歌詞データを表示する表示手段を備え、音楽に連動した歌詞表示を行わせるための、前記歌詞データの歌詞表示時間を関連付けた歌詞と音楽との同期データ作成装置において、歌詞データを文節に分解し、ディスプレイに表示可能でかつ適当な長さを持つ文節のまとまりを表示単位として決定する表示単位決定手段を用いることにより、小型ディスプレイ上で音楽データと同期の取れた歌詞データを表示させるためのタイムスタンプデータを作成する以前の、歌詞データの編集作業が省略されるので効率的である。

また、小型ディスプレイ上でも同期処理が行える。さらに、小型ディスプレイ上で表示される文節のまとまりをユーザが指定することによって、音楽データを、その文節のまとまりに相当する再生開始からの時間から再生可能である。

また、歌詞と音楽との同期処理を行う際、音楽データの再生スピードを変化させる制御手段を用いることにより、小型ディスプレイなど、画面が非常に小さい場合でも、言い換えると、文節のまとまりの文字数が少なく、ユーザがボタンを押す時間間隔が短い場合でも、音楽データの再生スピードが遅く設定できるので、ユーザは十分な時間間隔を持って同期処理が行うことができる。これにより容易に同期処理が行えるため、タイムスタンプ付加の失敗を軽減できる。

本発明の実施形態に係る歌詞と音楽との同期データ作成装置の構成を示すブロック図である。 本発明の実施形態に係る歌詞と音楽との同期処理の流れを示すフロー図である。 本発明の実施形態に係る同期処理を説明するための歌詞データの例を示す図である。 本発明の実施形態における、図３に示す１行の歌詞データに図２のステップＳＴ２０３（文節解析部）の処理を適用した結果を示す説明図である。 本発明の実施形態における、図２のステップＳＴ２０３での具体的処理の例を示すフロー図である。 本発明の実施形態における、図３に示す１行の歌詞データ３０１の表示単位を決定する方法を示す図である。 本発明の実施形態における、図３に示す１行の歌詞データ３０２に図５に示すフローの処理を適用した結果を示す説明図である。 本発明の実施形態における、図３に示す１行の歌詞データ３０１，３０２にタイムスタンプを付加したタイムスタンプデータを示す図である。 本発明の実施形態における、図２に示すステップＳＴ２０６で間奏を入れたタイムスタンプデータの作成処理を示すフロー図である。 本発明の実施形態における、間奏を入れたタイムスタンプデータの例を示す図である。 従来の個人用情報処理装置における歌詞と音楽との同期処理方法を説明するフロー図である。

符号の説明

１０１ 歌詞データ読み込み部
１０２ 音楽データ読み込み部
１０３ 文節解析部
１０４ 歌詞表示部
１０５ 再生部
１０６ 制御部
１０７ ユーザ入力部
１０８ タイムスタンプ記録部
３０１〜３０３ １行の歌詞データ
６０１〜６０６ 境界位置
６０７ 第１境界決定数直線
６０８ Ｋ／Ｎ値
６０９ 第２境界決定数直線
６１０ 第３境界決定数直線
６１１ 第４境界決定数直線
７０１〜７０４ 文節
７０５ 表示単位
８０１ タイムスタンプデータ
８０２ タイムスタンプ
８０３ 表示単位の歌詞
８０４ タイムスタンプ
８０５ 表示単位の歌詞
１００１ タイムスタンプデータ
１００２ 表示単位の歌詞
１００３，１００４ タイムスタンプ
１００５ 表示単位の歌詞

Claims (4)

1. 音楽データを再生する再生部と歌詞データを表示する表示部とを備えて、音楽に連動し
   た歌詞表示を行わせるための音楽と歌詞との同期データ作成装置であって、
   前記表示部に表示するのに適した前記歌詞データの表示単位を決定し、前記歌詞データ
   の表示単位毎に歌詞表示時間を付加して音楽と歌詞との同期データを作成するに際して、
   作成しようとする表示単位の歌詞データの前に同期データとして作成された表示単位の歌詞データにおける仮名変換した文字数と、該歌詞データの歌詞表示時間とから求めた仮名変換した１文字当たりの再生時間を用いて、同期データを作成しようとする表示単位の歌詞データの再生時間を予測し、
   前記予測した再生時間に基づいて前記作成しようとする表示単位の音楽データの再生ス
   ピードを調整する
   ことを特徴とする音楽と歌詞との同期データ作成装置。
2. 音楽データを再生する再生部と歌詞データを表示する表示部とを備えて、音楽に連動し
   た歌詞表示を行わせるための音楽と歌詞との同期データ作成方法であって、
   前記表示部に表示するのに適した前記歌詞データの表示単位を決定し、前記歌詞データ
   の表示単位毎に歌詞表示時間を付加して音楽と歌詞との同期データを作成するに際して、
   作成しようとする表示単位の歌詞データの前に同期データとして作成された表示単位の歌詞データにおける仮名変換した文字数と、該歌詞データの歌詞表示時間とから仮名変換した１文字当たりの再生時間を求めるステップと、
   前記求めた再生時間を用いて、同期データを作成しようとする表示単位の歌詞データの
   再生時間を予測するステップと、
   前記予測した再生時間に基づいて前記作成しようとする表示単位の音楽データの再生ス
   ピードを調整するステップと、からなる
   ことを特徴とする音楽と歌詞との同期データ作成方法。
3. 音楽データを再生する再生部と歌詞データを表示する表示部とを備えて、音楽に連動し
   た歌詞表示を行わせるための音楽と歌詞との同期データを作成するプログラムであって、
   前記表示部に表示するのに適した前記歌詞データの表示単位を決定し、前記歌詞データ
   の表示単位毎に歌詞表示時間を付加して音楽と歌詞との同期データを作成するに際して、
   同期データの作成が終了した歌詞データと前記歌詞表示時間とから算出した前記歌詞デ
   ータの仮名変換した１文字当たりの再生時間を求めるステップと、
   作成しようとする表示単位の歌詞データの前に同期データとして作成された表示単位の歌詞データにおける仮名変換した文字数と、該歌詞データの歌詞表示時間とから仮名変換した１文字当たりの再生時間を求めるステップと
   前記求めた再生時間を用いて、同期データを作成しようとする表示単位の歌詞データの
   再生時間を予測するステップと、
   前記予測した再生時間に基づいて前記作成しようとする表示単位の音楽データの再生ス
   ピードを調整するステップと、を備える
   ことを特徴とする音楽と歌詞との同期データ作成プログラム。
4. 請求項３に記載された同期データ作成プログラムを記録した記録媒体。

Images