JP7336802B2 - 歌詞同期データ作成システム - Google Patents

Description

本発明は、コンピュータネットワークを利用した歌詞同期データ作成システムに関し、特に手作業によって音楽と歌詞とを精確に同期させるための構成を有する歌詞同期データ作成システムに関する。

歌詞同期データ作成システムは、いわゆるカラオケなどで利用することを目的として、コンピュータ上で再生される音楽と表示されている歌詞を同期させるための時間データを作成し、歌詞データと時間データを一体化した歌詞同期データとして保存可能なシステムである。このようなシステムにおいては、いわゆるスマートフォンやタブレット・コンピュータなど、歌詞を表示する画面が比較的小さいデバイスでも入力できるようにした様々な発明がなされている。

図９は、従来技術に係る歌詞同期データ作成システムの構成を示すフロー図である。図９において、９０は歌詞同期データ作成システムの入力画面、９１は第１の文字表示領域、９１ａは開始側境界線、９１ｂは終了側境界線、９２は第２の文字表示領域、９２ａは開始側境界線、９２ｂは終了側境界線、９３は第３の文字表示領域、９３ａは開始側境界線、９３ｂは終了側境界線、９４は第４の文字表示領域、９４ａは開始側境界線、９４ｂは終了側境界線、９５は指である。

図９は、特開２０１６－３３５３９公報において開示されている発明に係るものである。この従来技術に係る歌詞同期データ作成システムの入力画面９０は、図９に示すように、スマートフォンやタブレット・コンピュータなどの画面上において、第１の文字表示領域９１、第２の文字表示領域９２、第３の文字表示領域９３及び第４の文字表示領域９４に示すように、各文字表示領域が矩形状の輪郭線によって設定されている。さらに、第１の文字表示領域９１、第２の文字表示領域９２、第３の文字表示領域９３及び第４の文字表示領域９４には、歌詞を構成する文字が歌詞同期データの作成対象曲を再生したときの時間順に１文字ずつ表示される。また、第１の文字表示領域９１の左右側方の境界線は、歌唱開始のタイミングを示す開始側境界線９１ａと歌唱終了のタイミングを示す終了側境界線９１ｂとして設定されている。

さらに、第１の文字表示領域９１、第２の文字表示領域９２、第３の文字表示領域９３及び第４の文字表示領域９４の間には狭い間隙が設定されているので、例えば、操作者が第１の文字表示領域９１から第２の文字表示領域９２に指をスライドさせると、終了側境界線９１ｂ上を通過する時刻と開始側境界線９２ａ上を通過する時刻とは、同時刻とはならず、僅かな差を持った時刻として記録されるように構成されている。なお、文字表示領域は、画面の大きさに応じてさらに多く表示できる。

そして、操作者が開始側境界線９１ａに触れると、歌詞同期データの作成対象曲の再生開始からの経過時刻を第１の文字表示領域９１にある文字の歌唱開始のタイミングであるＳ１を記録し、続けて終了側境界線９１ｂに触れると、再生開始からの経過時刻を第１の文字表示領域９１にある文字の歌唱終了のタイミングであるＥ１記録を記録するように構成されている。第２の文字表示領域９２、第３の文字表示領域９３及び第４の文字表示領域９４についても同様であり、Ｓ２及びＥ２、Ｓ３及びＥ３、並びに、Ｓ４及びＥ４が順次記録されるように構成されている。

以上のように、図９に示す従来技術は、再生中の音楽に合わせて画面上の文字をなぞるように指先をスライドさせることで歌詞同期データを作成することができ、スマートフォンやタブレット・コンピュータの操作に習熟した者には非常に理解し易いという利点がある。また、歌唱に合わせて指先をスライドさせる速度を調整することが可能であり、歌詞を構成する単語を入力単位として歌詞同期データを作成する従来技術よりも音楽と歌詞とを精確に同期させることが可能である。ところで、図９に示す技術では、歌詞を構成する文字を入力単位とすることから、単位時間あたりの入力情報が単語を入力単位とする技術よりもかなり多くなる。そのため時間情報を精確に記録する難易度が高くなり、特に歌詞同期データ作成の初心者や、スマートフォンやタブレット・コンピュータの操作に不慣れな者にとっては、作業を何度もやり直す必要が生じたり、再生速度を極端に遅くする必要が生じて効率が悪化したりするなど、ストレスが高くなりがちである。このようなストレスを感じた初心者などは、図９に示す従来技術を利用したシステムを敬遠するようになり、歌詞同期データ作成システムの普及を妨げる要因となり得る。

特開２０１６－３３５３９公報

本発明は、上述の課題を解決するために、歌詞同期データ作成の初心者や、スマートフォンやタブレット・コンピュータの操作に不慣れな者であっても容易に操作でき、かつ、音楽と歌詞とを精確に同期させることが可能な歌詞同期データ作成システムを提供することを目的とする。

請求項１に記載の発明は、音楽データを再生する再生手段と、表示装置の画面に歌詞データを表示する表示手段と、前記再生手段が前記音楽データを再生し、かつ、前記表示手段が前記歌詞データを表示しているときに、入力装置において入力操作があると、表示している前記歌詞データを前記音楽データに同期させるための時間情報を記録する時間情報記録手段を備えた歌詞同期データ作成システムであって、 前記表示手段は、前記画面に、前記歌詞データに含まれる文字列の一部を対応する前記音楽データの歌詞を複数の音節を含む音節行に区切って表示し、 前記入力装置は、指先または棒状体によって入力操作可能な入力領域が一つだけ設けられ、前記時間情報記録手段は、前記入力装置の前記入力領域に前記入力操作があったときに、前記入力操作があった時刻から前記音楽データの再生開始からの経過時間を算出し、該経過時間を前記入力操作があった時点に再生されていた前記音節の前記時間情報として記録することを特徴とする歌詞同期データ作成システムである。

請求項２に記載の発明は、請求項１に記載の発明において、前記入力装置は、前記指先または前記棒状体によって削除操作可能な削除操作領域が前記入力領域の近傍に設けられ、前記時間情報記録手段は、前記入力装置の前記削除操作領域に前記削除操作があったときに、前記表示手段に表示されている前記音節の前記時間情報の一部又は全部を消去することを特徴とする歌詞同期データ作成システムである。

請求項３に記載の発明は、請求項２に記載の発明において、前記再生手段は、前記入力装置の前記削除操作領域に前記削除操作があったときに、前記音楽データの消去された前記時間情報に対応する部分よりも指定秒数遡ったところから再生することを特徴とする歌詞同期データ作成システムである。

請求項４に記載の発明は、請求項１乃至請求項３のいずれか一項に記載の発明において、 前記時間情報記録手段は、前記入力装置の前記入力領域に最後の前記音節に対する前記入力操作があったときに、全ての前記音節の中から、後続する音節の入力時間との差分から求められる同期時間に間奏の時間、又は、長い休符に対応する歌唱が存在しない時間を含まない前記音節を抽出し、抽出した前記音節１つ当たりの同期時間を算出して音節平均値とし、さらに該音節平均値に基づいて１文字当たりの同期時間を算出して記録することを特徴とする歌詞同期データ作成システムである。

請求項１に記載の発明によれば、入力装置に入力領域を一つだけ設けて、この１つの入力領域を指先または棒状体によって入力操作する構成にしたので、聞いている楽曲に合わせてこの入力領域に入力する動作を繰り返すだけでよく、指先をスライドさせる従来技術よりもストレスなく容易に操作できる。

請求項２に記載の発明によれば、修正頻度の高い直前の入力や表示中の文字の全ての入力に対して、一回の操作で入力の消去ができ、修正作業を非常に容易に行うことが可能となる。

請求項３に記載の発明によれば、削除操作があったときに、音楽データの消去された時間情報に対応する部分よりも指定秒数遡ったところから再生するので、再度入力操作を行う際に指定秒数だけ時間的な余裕ができ、歌詞同期データ作成の初心者であっても的確なタイミングで再入力できる。

請求項４に記載の発明によれば、楽曲の全再生時間を全音節数で除算した表面的平均値から、間奏などの歌唱がないところを実質的に除外した時間長から音節１当たりの補正平均値を算出して利用するので、１つの入力領域を指先または棒状体によって入力操作する簡単な構成であっても、休符や間奏などに相当する空白文字や行末の歌い終わりなどを反映した歌詞同期データが作成できる。ひいては、カラオケにおいて、歌唱のタイミング表示と実際の歌唱との間にずれを生じにくくなる。

本発明の実施の形態に係る歌詞同期データ作成システムのスマートフォンにおけるユーザインターフェイスを示す説明図（１）である。 本発明の実施の形態に係る歌詞同期データ作成システムのスマートフォンにおけるユーザインターフェイスを示す説明図（２）である。 本発明の実施の形態に係る歌詞同期データ作成システムの歌詞データの構成を示し、（ａ）が英語の歌詞同期データの作成対象曲の説明図、（ｂ）が英語の歌詞同期データの構成の説明図である。 本発明の実施の形態に係る歌詞同期データ作成システムの英語の歌詞同期データの区切りに関する説明図である。 本発明の実施の形態に係る歌詞同期データ作成システムの歌詞データの構成を示し、（ａ）が日本語の歌詞同期データの作成対象曲の説明図、（ｂ）が日本語の歌詞同期データの構成の説明図である。 本発明の実施の形態に係る歌詞同期データ作成システムの１文字当たりの同期時間の算出方法に関する説明図である。 本発明の実施の形態に係る歌詞同期データ作成システムを適用したスマートフォンと周辺機器の構成の一例を示すブロック図である。 本発明の実施の形態に係る歌詞同期データ作成システムを適用したスマートフォンの構成を示すブロック図である。 従来技術に係る歌詞同期データ作成システムにおける入力方法を示す説明図である。

歌詞同期データ作成システムは、いわゆるカラオケにおいて、歌唱者に対して歌唱のタイミングを伝えるために必要となるデータを作成するためのシステムであり、歌詞を構成する文字や音節に関するデータ、及び、音楽の再生開始からの経過時間（時刻）のデータなどを含んでいる。なお、歌詞同期データ作成システムは、例えば、歌いながら学ぶ外国語学習システムなどにも応用可能であり、カラオケという用途に限定されるものではない。また、本発明の実施の形態に係る歌詞同期データ作成システムは、スマートフォン、タブレット・コンピュータ、ラップトップ・コンピュータ、デスクトップ・コンピュータなど各種のコンピュータに適用することが可能であるが、タッチパネル・ディスプレイを採用したスマートフォン又はタブレット・コンピュータなどに対して特に好適である。この実施の形態に係る歌詞同期データ作成システムは、このような歌詞同期データ作成システムにおいて、データ作成作業に慣れていない初心者などを対象とするシステムである。ただし、この実施の形態に係る歌詞同期データ作成システムは、同一のスマートフォンにおいて、特開２０１６－３３５３９公報に記載されているような、中・上級者に好適と言える従来型の歌詞同期データ作成システムと共存させることも可能である。

また、本発明において、「時間情報」とは、音楽データを再生するときに歌詞を同期させながら表示するときに必要となる時間データであり、歌詞を構成する各々の文字に対して、当該文字を歌唱すべき時点であることを表示するための２つの時刻、つまり当該文字に対する発声開始時刻又は発声終了時刻を設定するための情報である、と定義する。具体的事例に沿って言い換えると、カラオケシステムにおいて、音楽データを再生しながら歌詞を構成する文字列を音節毎に区切って表示しているときに、歌唱すべき文字の表示色を変えるための時間データが時間情報であり、音楽データの再生開始時刻から文字の表示色を変え始める時刻と、文字の表示色を変え終わる時刻である。なお、連続的に歌唱される歌詞の文字列においては、ｎ番目の文字の発声開始時刻はｎ－１番目の発声終了時刻と同じ時刻になり、ｎ番目の文字の発声終了時刻はｎ＋１番目の発声開始時刻と同じ時刻になる。また、後述するように、本発明では、時間情報を入力する作業を行うために、あらかじめ設定された文字数の文字列を音節毎に区切った１行の文字列（以下、「音節行」と記載する）毎に行うが、最終的に作成される歌詞同期データにおいては、歌詞を構成する文字毎に時間情報が記録されたものとなる。時間入力は音節単位で行い、最終的に記録される時間情報は文字単位になるが、これは従来技術にない本発明の特徴である。また、一部のカラオケシステムでは、文字の表示色を変える方法によらず、文字を指し示す方法などで歌唱すべき時点を示すものもあるが、いずれにせよ、特定の１つの文字に対する発声開始時刻と発声終了時刻を歌唱者に知らせるための情報が本発明の時間情報に該当する。

続けて、本発明の実施の形態に係る歌詞同期データ作成システムの概要等について説明する。図３は、本発明の実施の形態に係る歌詞同期データ作成システムの歌詞データの構成を示し、（ａ）が英語の歌詞同期データの作成対象曲の説明図、（ｂ）が英語の歌詞同期データの構成の説明図である。図３において、５０は英語の歌詞同期データの作成対象曲、５０ａは歌詞同期データの作成対象曲に含まれる休符、５１は歌詞同期データの全データ、５２は個別同期データである。また、図４は、本発明の実施の形態に係る歌詞同期データ作成システムの英語の歌詞同期データの区切りに関する説明図である。図４において、５２ａ、５２ｂ、５２ｃ、５２ｄ、５２ｅ、５２ｆ及び５２ｇは個別同期データである。図５は、本発明の実施の形態に係る歌詞同期データ作成システムの歌詞データの構成を示し、（ａ）が日本語の歌詞同期データの作成対象曲の説明図、（ｂ）が日本語の歌詞同期データの構成の説明図である。５５は日本語の歌詞同期データの作成対象曲、５６ａ及び５６ｂは音節複合型同期データ、５７ａ、５７ｂ、５７ｃ、５７ｄ、５７ｅ、５７ｆ、５７ｇ、５７ｈ、５７ｉ、５７ｊ及び５７ｋは個別同期データである。図７は、本発明の実施の形態に係る歌詞同期データ作成システムを適用したスマートフォンと周辺機器の構成の一例を示すブロック図である。図７において、１０はスマートフォン、２９はタッチパネル・ディスプレイ、３１は無線通信網、３２はインターネット、３３は歌詞同期データ管理サーバ、３４は歌詞同期データベースである。

前述のように、この実施の形態に係る歌詞同期データ作成システムはスマートフォンに対して好適であり、図７はこのようなスマートフォンの構成と周辺機器の構成の一例を示している。すなわち、スマートフォン１０は、図７に示すように、タッチパネル・ディスプレイ２９を備えており、歌詞同期データ作成システムがアプリケーション・ソフトウェアとしてインストールされている。タッチパネル・ディスプレイ２９は、スマートフォン１０の入力装置であり、かつ、表示装置である。また、詳細については後述するが、タッチパネル・ディスプレイ２９は、歌詞データを複数の音節行に分割して表示し、音楽データそれぞれの文字を同期させるための時間情報、つまり、歌詞を構成する各々の文字に対する音楽再生からの経過時刻をタップ（指先を軽く打ち付けるようにすばやく触れる）することによって入力するものである。歌詞同期データを構成する文字列を複数の音節行に分割して表示する際の設定画面等の記載は省略するが、例えば画面の幅に合わせて３～５音節程度、又は、１５～２０音節に設定するなど様々な表示設定が可能である。なお、入力作業を容易にするために、各音節行は次の音節行との間に間奏時間や、歌唱がない時間（長い休符が入る時間）が存在するところをできる限り選択している。つまり、音節行の行末には間奏時間や、歌唱が存在しない時間が続くことが多い。

例えば、図３（ａ）の英語の歌詞同期データの作成対象曲５０に示すように、歌詞を構成する文字列の１つの音節に対して１つの音符がほぼ対応している。そこで、この実施の形態に係る歌詞同期データ作成システムでは、図４に示すように、太線枠で囲まれた各々の音節を個別同期データ５２ａ、５２ｂ、５２ｃ、５２ｄ、５２ｅ、５２ｆ及び５２ｇとし、さらに図示していない前後の音節も同様に音節毎に区切って個別同期データとして位置づけている。そして、各々の個別同期データ５２に対して同期情報（時刻）を簡単な操作で入力できるようにし、図３（ｂ）に示すように、英語の歌詞同期データの作成対象曲５０に歌詞同期データの全データ５１が簡便に作成できるようにしたものである。また、日本語の歌詞同期データの作成対象曲５５においても、図５（ａ）及び（ｂ）に示すように、音節毎に区切って個別同期データ５７ａ、５７ｂ、５７ｃ、５７ｄ、５７ｅ、５７ｆ、５７ｇ、５７ｈ、５７ｉ、５７ｊ及び５７ｋとし、さらに図示していない前後の音節も同様に音節毎に区切って個別同期データとして位置づけている。なお、例えば、図５（ａ）の音節複合型同期データ５６ａ及び５６ｂのように、１つの音節に対して複数の音符が対応しているなど、１対１の対応関係にならない場合があるが、少数の例外に過ぎず、カラオケシステムにおいて利用する限りにおいて特段の問題はないと言える。

また、この実施の形態に係る歌詞同期データ作成システムは、スマートフォン１０の電話としての機能を利用して無線通信網３１に接続され、さらに無線通信網３１を介してインターネット３２に接続されている。くわえて、歌詞同期データ管理サーバ３３もインターネット３２に接続されており、スマートフォン１０に記録された歌詞同期データは無線通信網３１及びインターネット３２を介して歌詞同期データ管理サーバ３３の歌詞同期データベース３４にアップロードされる構成となっている。なお、本発明の歌詞同期データ作成システムは、歌詞同期データ管理サーバ３３を設けずに、スマートフォン又はタブレット・コンピュータ自体が元々備えているメモリに歌詞同期データを作成して保管する構成、すなわち、スマートフォン又はタブレット・コンピュータに記憶されているコンピュータ・ソフトウェアだけで構成してもよい。また、歌詞同期データの作成に係るコンピュータ・ソフトウェアの一部又は全部を専用メモリに記憶させ、かつ、専用ＩＣでデータ処理を行う構成、つまり、ハードウェアを中心とする構成であってもよい。さらに、デスクトップ・コンピュータに適用する場合には、ハードディスクドライブに歌詞同期データ作成システムと歌詞データを記憶させる構成としてもよい。言い換えると、本発明において、歌詞同期データ管理サーバ３３のような歌詞同期データを作成するコンピュータ以外のものは、必須のものではない。また、音楽データも、スマートフォン又はタブレット・コンピュータ自体が元々備えているメモリに記憶されていてもよく、その他の機器に記憶されている音楽データを利用するものであってもよい。

さらに、本発明の実施の形態に係る歌詞同期データ作成システムの具体的な構成について説明する。図１は、本発明の実施の形態に係る歌詞同期データ作成システムのスマートフォンにおけるユーザインターフェイスを示す説明図（１）である。図１において、４０は操作ボタン群、４１は音節行選択ボタン、４２は音節行、４３は現在位置表示線、４４は現在行入力キャンセルボタン、４５は直前入力キャンセルボタン、４６は同期タイミング入力ボタン、４７ａは第１の文字及び音節表示領域、４７ｂは第２の文字及び音節表示領域、４７ｃは第３の文字及び音節表示領域、４７ｄは第４の文字及び音節表示領域、４７ｅは第５の文字及び音節表示領域、４７ｆは第６の文字及び音節表示領域であり、その他の符号は図７と同じものを示す。また、図２は、本発明の実施の形態に係る歌詞同期データ作成システムのスマートフォンにおけるユーザインターフェイスを示す説明図（２）である。図２において、４８ａは第１の文字及び音節表示領域、４８ｂは第２の文字及び音節表示領域、４８ｃは第３の文字及び音節表示領域、４８ｄは第４の文字及び音節表示領域、４８ｅは第５の文字及び音節表示領域、４８ｆは第６の文字及び音節表示領域であり、その他の符号は図１及び図７と同じものを示す。さらに、図８は、本発明の実施の形態に係る歌詞同期データ作成システムを適用したスマートフォンの構成を示すブロック図である。図８において、２０はメモリ、２１は再生手段、２２は表示手段、２３は表示文字数設定手段、２４は時間情報記録手段、２５は巻き戻し設定手段、２６は情報通信手段、２７はＣＰＵ、２８は一時記憶用メモリ、３０は通信装置であり、その他の符号は図７と同じものを示す。

スマートフォン１０は、図８に示すように、メモリ２０にアプリケーション・ソフトウェアである再生手段２１、表示手段２２、表示文字数設定手段２３、時間情報記録手段２４、巻き戻し設定手段２５、情報通信手段２６に記憶されており、ＣＰＵ２７において実行される。さらに、一時記憶用メモリ２８、タッチパネル・ディスプレイ２９及び通信装置３０を備えている。再生手段２１は、指定された楽曲を巻き戻し設定手段２５の設定に従って自動的に、又は、タッチパネル・ディスプレイ２９からの手動操作によって再生する機能を有する。表示手段２２は、歌詞を構成する文字列と、図１及び図２に示しているスマートフォン１０のタッチパネル・ディスプレイ２９において、音節毎の区切り、及び、操作アイコンを画面に表示し、かつ、タップ等による入力結果を表示する機能を有する。表示文字数設定手段２３は、歌詞を構成する文字列を音節毎に表示する際に、１つの画面内に表示される文字数、つまり１行当たりの文字数の指定を受け付けてメモリ２０に記憶させると共に、表示手段に指定された音節数の文字列を表示させる機能を有する。なお、１行当たりの文字数よりも音節のまとまりを優先して動作するので、１つの音節を構成する文字が２行に分かれて表示されることはない。

図２に示しているスマートフォン１０は、図１に示した向きから９０度回転した状態を示した折、両者は同じものである。タッチパネル・ディスプレイ２９の操作ボタン群４０は、一般的な音楽用アプリケーション・ソフトウェアと同様に、楽曲を再生する又は停止する、再生速度を早くする又は遅くする、並びに、再生しているところから所定秒数進んだところから再生する又は戻ったところから再生するための仮想的な操作ボタンが表示されている。なお、これらの操作ボタンに加えて他の種類のボタンを設けてもよい。音節行選択ボタン４１は、時間情報を入力する作業を行う音節行を選択するものであり、上向きの矢印のボタンが１行前に移動する選択に対応し、下向きの矢印のボタンが１行後に移動する選択に対応している。また、これらの矢印で表されたボタンをｎ回操作することによってｎ行前又はｎ行後の音節行に移動することが可能である。また、パーソナル・コンピュータにおいて使用する場合には、キーボードの特定のキーやマウスを操作ボタン群４０の各ボタン、あるいは入力ペンのような棒状体としてもよい。なお、音節行４２については、後ほど詳しく説明する。

現在行入力キャンセルボタン４４は、タッチパネル・ディスプレイ２９に表示中の音節行４２に対して入力した時間情報を再度入力するための再入力操作領域である。現在行入力キャンセルボタン４４を操作すると、現在入力中の音節行に対して再入力が可能な状態となる。直前入力キャンセルボタン４５は、直前に入力した１つの時間情報を削除するための削除操作領域である。同期タイミング入力ボタン４６は、入力装置であるタッチパネル・ディスプレイ２９に１つだけ設けられた入力領域である。同期タイミング入力ボタン４６は、後述するように、表示されている音節行の各音節に対して１回ずつ操作することよって、各音節に対して時間情報が入力される。なお、現在行入力キャンセルボタン４４と直前入力キャンセルボタン４５との２つのボタンを表示する構成に代えて、一個の共用キャンセルボタンのみを表示する構成とし、この共用キャンセルボタンを、例えば、タップしたときには直前入力キャンセルボタンとして機能し、ダブルタップ又はロングタップしたときには現在行入力キャンセルボタンとして機能する、つまり１つのボタンで２つの削除操作を行うようにしてもよい。

同期タイミング入力ボタン４６は、音節行４２に表示された各音節に対して時間情報を入力するためのボタンである。音節行４２には、入力を終えた音節とまだ入力していない音節との間に現在位置表示線４３が表示されるので、同期タイミング入力ボタン４６によってどこまで入力したかを常時把握することができる。さらに、タッチパネル・ディスプレイ２９に表示中の音節行４２に対する入力作業が終わったときには、次の音節行を表示するための移行ボタンとして機能する。くわえて、最終行となる音節行に対する入力作業が終わったときには、入力作業の完了を時間情報記録手段２４に伝えるためのボタンとなる。後述するように、時間情報記録手段２４は、各音節行に対する入力作業が終わったことを通知されると、後述するような計算を行う。なお、同期タイミング入力ボタン４６を設けることに代えて、例えば、スマートフォン１０をシェイクしたり、スマートフォン１０に対してＢｌｕｅｔｏｏｔｈ（登録商標）で接続された入力デバイスを使用したりすることで入力作業を行うような構成にしてもよい。また、入力途中の段階において、入力済みの時間情報が適切かどうかをカラオケの画面でプレレビューしながら確認するために、各音節行の入力を終える毎に計算を行う構成にしてもよい。

音節行４２についてさらに詳しく説明する。音節行４２は、現在選択している音節行が表示される。また、音節行４２は、表示手段２２によって、１音節毎に区切られて表示されると共に、単語を分かち書きする言語については、分かち書きした状態で表示される。すなわち、図１に示している音節行４２は英語における事例であるが、第１の文字及び音節表示領域４７ａ、第２の文字及び音節表示領域４７ｂ、第３の文字及び音節表示領域４７ｃ、第４の文字及び音節表示領域４７ｄ、第５の文字及び音節表示領域４７ｅ、並びに、第６の文字及び音節表示領域４７ｆが太線枠によって区切られて表示される。１つの音節の中に複数の文字が含まれている場合には、それらの文字が互いに細線で区切られて表示される。図１に示している例では、第１の文字及び音節表示領域４７ａと第２の文字及び音節表示領域４７ｂ、並びに、第５の文字及び音節表示領域４７ｅと第６の文字及び音節表示領域４７ｆが同じ単語を構成しているので、太線枠で互いに区切られるのと同時に一体的に表示されている。一方、第３の文字及び音節表示領域４７ｃ及び第４の文字及び音節表示領域４７ｄは、１つの単語で１音節となるので、隣り合う表示領域との間に間隙が表示されている。なお、新たな歌詞データに対して時間情報の入力作業を行う場合には、１行目の音節行が表示される。なお、各音節の間の区切りは、枠線に太さで表すことに代えて、枠線の色や各枠内の背景色をそれぞれ異なるものとする構成によって表してもよいし、画面の背景色によって各音節が分断されているように見える構成にしてもよい。１つの音節内の文字の間の区切りについても、線の色などで表す構成にしてもよい。また、隣り合う表示領域との間隙は、歌詞データにおいて空白文字（スペース）として記録しておいてもよいし、音節行４２を表示するときに表示手段２２が音節間に自動的に挿入するようにしてもよい。

また、音節行４２に日本語による歌詞の文字列の一部を表示する場合には、図２に示した状態となる。すなわち、第１の文字及び音節表示領域４８ａ、第２の文字及び音節表示領域４８ｂ、第３の文字及び音節表示領域４８ｃ、第４の文字及び音節表示領域４８ｄ、第５の文字及び音節表示領域４８ｅ、並びに、第６の文字及び音節表示領域４８ｆは、分かち書きされずに、連続して一体的に表示されている。ただし、日本語による歌詞においても、音節の終わりに相当する音節で、かつ、楽曲においては休符が後に続く、つまり歌唱が存在しない空白領域が後続する場合には、空白文字（スペース）が表示される。なお、日本語の他に、通常分かち書きをしない中国語、タイ語、ビルマ語、クメール語なども同様の構成で表示される。なお、楽曲の間奏部分など、歌唱が存在しない状態が継続する場合には、歌唱が存在しない、つまり、入力作業がないことを示す空白行を表示してもよい。

図８に戻ってさらに説明する。時間情報記録手段２４は、タッチパネル・ディスプレイ２９からの同期タイミング入力ボタン４６からの入力があったときに、音楽データの再生開始からの経過時間を特定の音節の時刻として一時記憶用メモリに記憶する手段である。つまり、文字表示情報となる時刻に対する記録を最初から実行するのではなく、各音節に対する時刻をまず一時記憶用メモリに一時的に記憶させ、後述するように、各音節に対する作業が完了してから、後述する方法によって歌詞を構成する全ての文字に対する同期情報（時刻）を算出する構成となっている。さらに、全ての文字に対する同期情報（時刻）の算出が完了したときに、情報通信手段２６を介して歌詞同期データ管理サーバ３３に歌詞同期データを送信する。なお、具体的な算出方法については、詳しく後述する。

巻き戻し設定手段２５は、タッチパネル・ディスプレイ２９の画面で表示している文字列を次の行へ切り替えた後に、前の行を表示中に再生した最後のところから所定時間巻き戻して音楽データを再生するためのものであり、巻き戻し時刻の設定を受け付けると共に、再生手段２１に音楽データの所定時刻から再生させる手段である。情報通信手段２６は、歌詞同期データ管理サーバ３３に対するユーザ認証や、歌詞同期データの送信などを行うための手段である。一時記憶用メモリ２８は、歌詞を構成する文字に対する時間情報を一時的に記憶するためのキャッシュメモリである。タッチパネル・ディスプレイ２９は、歌詞を構成する文字列などを表示する表示装置であると共に、時間情報などの入力装置である。通信装置３０は、無線通信網３６に対して通信接続を行う装置である。

この実施の形態に係る歌詞同期データ作成システムは、図２に示すスマートフォン１０のように、横長に配置する、又は、縦長に配置することのいずれにも対応できる機器において、歌詞データも横方向、縦方向のいずれの方向にも配置できるように構成されている。すなわち、スマートフォン１０を横長方向に配置すると、図２（ａ）に示すように、歌詞を構成する音節行４２の文字列はタッチパネル・ディスプレイ２９に横方向に配列され、縦長方向に配置すると、図２（ｂ）に示すように、歌詞を構成する音節行４２の文字数がタッチパネル・ディスプレイ２９に幅に合わせて変更される。くわえて、この実施の形態に係る歌詞同期データ作成システムの各操作ボタンも、横長に配置する、又は、縦長に配置することに応じて配列が変更される。

続けて、この実施の形態に係る歌詞同期データ作成システムの１文字当たりの同期時間の算出方法について説明する。図６は、本発明の実施の形態に係る歌詞同期データ作成システムの１文字当たりの同期時間の算出方法に関する説明図である。なお、図６では、英語の歌詞同期データの作成対象曲５０に基づいて説明するが、日本語や他の言語の歌詞同期データの作成対象曲についても同様に算出するので、日本語等の歌詞同期データの作成対象曲に関する説明は省略する。

この実施の形態に係る歌詞同期データ作成システムにおいては、英語の歌詞同期データの作成対象曲５０の歌詞同期データの全データ５１の入力が完了してから、文字毎の同期情報（時刻）を算出する構成になっている。なお、この実施の形態に係る歌詞同期データ作成システムにおいては、作業者が途中で入力を中断し、それまで入力した時間情報を保存する操作を行った場合、例外的に全データ５１の入力の完了を待たずに文字毎の同期情報（時刻）を算出し、入力済みの時間情報を保存できる構成になっている。まず、図６に示すように、ｎ行目の音節行に６つの音節が存在していた場合、前述の同期タイミング入力ボタン４６からの入力によって、これらの音節に対応するｔ０、ｔ１、ｔ２、ｔ３、ｔ４、ｔ５の６つの同期情報（時刻）が存在している。この実施の形態に係る歌詞同期データ作成システムにおいては、隣り合う文字において前の文字の同期終了時刻は後の文字の同期開始時刻と一致させている。従って図６の１番目の音節であれば、この音節全体の同期終了時刻は次の音節の同期時刻ｔ１と等しいので、ｔ１－ｔ０からΔｔ１を求め、これを各文字に按分すれば１文字あたりの時間長を定めることができる。次に２番目の音節であるが、３番目の音節との間に空白文字（スペース）が表示されている。特に英語など欧文の歌詞においては、空白文字は単に単語の区切りを示している場合もあるが、楽曲においては休符が後に続く、つまり歌唱が存在しない空白領域が後続していることを示している場合もある。実際に、図６は図３（ａ）の作成対象曲５０の後半２小節部分に対応するものであるが、３番目の音節に後続する空白文字は図３（ａ）の歌詞同期データの作成対象曲に含まれる休符５０ａに対応している。このような空白が後続する音節について１番目の音節と同様に次の音節の同期開始時刻ｔ３を音節の同期終了時刻とみなし、ｔ３－ｔ２からΔｔ３を求め単純に各文字に按分した場合、そこに休符分の時間も含まれることにより実際の歌唱とずれたタイミングの同期情報が算出されてしまう可能性がある。さらに図６の６番目の音節は行末に位置しており、その終了時刻の基準は次の行の最初に入力された同期時刻となるが、この間には間奏などのより長い歌唱が存在しない空白領域が後続している可能性もあり、空白文字が後続する場合同様、単純な按分計算では、実際の歌唱と大きくずれたタイミングの同期情報が算出されてしまう可能性がある。

そこで、この実施の形態に係る歌詞同期データ作成システムにおいては、歌唱が存在しない空白領域を含む音節を判別するために、まず間奏を除外した１音節当たりの平均同期時間を算出する。全ての音節行から間奏が後続する可能性も高い行末の音節を除くすべての音節について、その音節の同期開始時刻と次の音節の同期開始時刻の差分時間Δｔと音節数をそれぞれ加算し、差分時間Δｔの合計値を加算した音節数で割った平均値ＡＶＧ（Δｔ）を求める。さらにこの音節平均値ＡＶＧ（Δｔ）に基づいて１文字当たりの同期時間を算出して記録する。具体的には、図６の１番目の音節であれば、ｔ１－ｔ０からΔｔ１を求め、２番目の音節であれば、ｔ２－ｔ１からΔｔ２を求める。同様に、各音節に対してΔｔｎを求めて行く。次に、全ての音節について、ＡＶＧ（Δｔ）に対する比率を求める。ここで、Δｔ２／ＡＶＧ（Δｔ）などのΔｔｎ／ＡＶＧ（Δｔ）が１を大きく超えない数値であれば、間奏や長い休符が存在しない確率が高いと推定される。そこで、Δｔｎ全体を音節の同期時間とみなし、１文字当たりの時間長を算出する。例えば、２番目の音節には、３文字存在するので、Δｔ２／３が１文字当たりの時間長となり、後続の空白の同期時間は０となる。一方、Δｔ３／ＡＶＧ（Δｔ）などのΔｔｎ／ＡＶＧ（Δｔ）が１を大きく超える数値の場合は、間奏や長い休符が後続する確率が高いと推定される。このような場合はＡＶＧ（Δｔ）を音節の同期時間とみなし、１文字当たりの時間長を算出する。例えば、３番目の音節には、５文字存在するので、ＡＶＧ（Δｔ）／５が１文字当たりの時間長となり、後続の空白の同期時間はΔｔ３－ＡＶＧ（Δｔ）となる。その他の音節においても同様に算出して行く。なお、計算方法は、前述のものに限られるものではなく、同趣旨の時間長が得られるのであればいずれの計算方法であってもよい。例えば、各音節行の入力終了時刻を入力可能し、全ての音節行における音節１つ当たりの同期時間を算出して音節平均値とし、さらにこの音節平均値ＡＶＧ（Δｔ）に基づいて１文字当たりの同期時間を算出して記録するようにしてもよい。また、音節時間を各文字に按分するにあたって単純に等分するのではなく、前後の音節の同期時間を考慮してなめらかな同期速度変化となるよう調整してもよい。

以上のように、この実施の形態に係る歌詞同期データ作成システムにおいては、タッチパネル・ディスプレイ２９の画面に同期タイミング入力ボタン４６を一つだけ設けて、この同期タイミング入力ボタン４６をタップして入力操作する構成にしたので、聞いている楽曲に合わせてタップする動作を繰り返すだけでよく、指先をスライドさせる従来技術よりもストレスなく容易に操作できる。また、修正頻度の高い直前の入力又は表示中の文字の全ての入力に対して、直前入力キャンセルボタン４５又は現在行入力キャンセルボタン４４の一回の操作で消去でき、修正作業を非常に容易に行うことが可能となる。さらに、直前入力キャンセルボタン４５又は現在行入力キャンセルボタン４４の操作があったときに、再生手段２１が音楽データの消去された時間情報に対応する部分よりも指定秒数遡ったところから再生するので、再度入力操作を行う際に指定秒数だけ時間的な余裕ができ、歌詞同期データ作成の初心者であっても的確なタイミングで再入力できる。くわえて、楽曲全体の再生時間から、間奏などの歌唱がないところを除外したＡＶＧ（Δｔ）を利用して１文字当たりの同期時間を算出して記録するので、同期タイミング入力ボタン４６をタップする簡単な構成であっても、休符や間奏などに相当する空白文字や行末の歌い終わりなどを反映した歌詞同期データが作成できる。ひいては、カラオケにおいて、歌唱のタイミング表示と実際の歌唱との間にずれを生じにくくなる。

本発明は以上に説明した内容に限定されるものではなく、例えば、操作切り替えボタンをタップすることによって、特開２０１６－３３５３９公報に記載されている歌詞同期データ作成システムと切り替えできるようにしてもよい。また、デスクトップ・コンピュータにおいて本発明の歌詞同期データ作成システムを適用する場合には、１番であれば１番の歌詞全てを表示するものとし、改行に関する機能を持たないシステムとしてもよい。このように、各請求項に記載した範囲を逸脱しない限りにおいて種々の変形を加えることが可能である。

１０ スマートフォン
２０ メモリ
２１ 再生手段
２２ 表示手段
２３ 表示文字数設定手段
２４ 時間情報記録手段
２５ 巻き戻し設定手段
２６ 情報通信手段
２７ ＣＰＵ
２８ 一時記憶用メモリ
２９ タッチパネル・ディスプレイ
３０ 通信装置
３１ 無線通信網
３２ インターネット
３３ 歌詞同期データ管理サーバ
３４ 歌詞同期データベース
４０ 操作ボタン群
４１ 音節行選択ボタン
４２ 音節行
４３ 現在位置表示線
４４ 現在行入力キャンセルボタン
４５ 直前入力キャンセルボタン
４６ 同期タイミング入力ボタン
４７ａ 第１の文字及び音節表示領域
４７ｂ 第２の文字及び音節表示領域
４７ｃ 第３の文字及び音節表示領域
４７ｄ 第４の文字及び音節表示領域
４７ｅ 第５の文字及び音節表示領域
４７ｆ 第６の文字及び音節表示領域
４８ａ 第１の文字及び音節表示領域
４８ｂ 第２の文字及び音節表示領域
４８ｃ 第３の文字及び音節表示領域
４８ｄ 第４の文字及び音節表示領域
４８ｅ 第５の文字及び音節表示領域
４８ｆ 第６の文字及び音節表示領域
５０ 英語の歌詞同期データの作成対象曲
５０ａ 歌詞同期データの作成対象曲に含まれる休符
５１ 歌詞同期データの全データ
５２ 個別同期データ
５２ａ 個別同期データ
５２ｂ 個別同期データ
５２ｃ 個別同期データ
５２ｄ 個別同期データ
５２ｅ 個別同期データ
５２ｆ 個別同期データ
５２ｇ 個別同期データ
５５ 日本語の歌詞同期データの作成対象曲
５６ａ 音節複合型同期データ
５６ｂ 音節複合型同期データ
５７ａ 個別同期データ
５７ｂ 個別同期データ
５７ｃ 個別同期データ
５７ｄ 個別同期データ
５７ｅ 個別同期データ
５７ｆ 個別同期データ
５７ｇ 個別同期データ
５７ｈ 個別同期データ
５７ｉ 個別同期データ
５７ｊ 個別同期データ
５７ｋ 個別同期データ
９０ 歌詞同期データ作成システムの入力画面
９１ 第１の文字表示領域
９１ａ 開始側境界線
９１ｂ 終了側境界線
９２ 第２の文字表示領域
９２ａ 開始側境界線
９２ｂ 終了側境界線
９３ 第３の文字表示領域
９３ａ 開始側境界線
９３ｂ 終了側境界線
９４ 第４の文字表示領域
９４ａ 開始側境界線
９４ｂ 終了側境界線
９５ 指

Claims (2)

1. 音楽データを再生する再生手段と、表示装置の画面に歌詞データを表示する表示手段と、前記再生手段が前記音楽データを再生し、かつ、前記表示手段が前記歌詞データを表示しているときに、入力装置において入力操作があると、表示している前記歌詞データを前記音楽データに同期させるための時間情報を記録する時間情報記録手段を備えた歌詞同期データ作成システムであって、
   前記表示手段は、前記画面に、前記歌詞データに含まれる文字列の一部を対応する前記音楽データの歌詞を複数の音節を含む音節行に区切って表示し、
   前記入力装置は、指先または棒状体によって入力操作可能な入力領域が一つだけ設けられ、
   前記時間情報記録手段は、前記入力装置の前記入力領域に前記入力操作があったときに、前記入力操作があった時刻から前記音楽データの再生開始からの経過時間を算出し、該経過時間を前記入力操作があった時点に再生されていた前記音節の前記時間情報として記録し、
   前記入力装置は、前記指先または前記棒状体によって削除操作可能な削除操作領域が前記入力領域の近傍に設けられ、
   前記時間情報記録手段は、前記入力装置の前記削除操作領域に前記削除操作があったときに、前記表示手段に表示されている前記音節の前記時間情報の一部又は全部を消去し、
   前記再生手段は、前記入力装置の前記削除操作領域に前記削除操作があったときに、前記音楽データの消去された前記時間情報に対応する部分よりも指定秒数遡ったところから再生することを特徴とする歌詞同期データ作成システム。
2. 音楽データを再生する再生手段と、表示装置の画面に歌詞データを表示する表示手段と、前記再生手段が前記音楽データを再生し、かつ、前記表示手段が前記歌詞データを表示しているときに、入力装置において入力操作があると、表示している前記歌詞データを前記音楽データに同期させるための時間情報を記録する時間情報記録手段を備えた歌詞同期データ作成システムであって、
   前記表示手段は、前記画面に、前記歌詞データに含まれる文字列の一部を対応する前記音楽データの歌詞を複数の音節を含む音節行に区切って表示し、
   前記入力装置は、指先または棒状体によって入力操作可能な入力領域が一つだけ設けられ、
   前記時間情報記録手段は、前記入力装置の前記入力領域に前記入力操作があったときに、前記入力操作があった時刻から前記音楽データの再生開始からの経過時間を算出し、該経過時間を前記入力操作があった時点に再生されていた前記音節の前記時間情報として記録し、
   前記時間情報記録手段は、前記入力装置の前記入力領域に最後の前記音節に対する前記入力操作があったときに、全ての前記音節の中から、後続する音節の入力時間との差分から求められる同期時間に間奏の時間、又は、長い休符に対応する歌唱が存在しない時間を含まない前記音節を抽出し、抽出した前記音節１つ当たりの同期時間を算出して音節平均値とし、さらに該音節平均値に基づいて１文字当たりの同期時間を算出して記録することを特徴とする請求項１に記載の歌詞同期データ作成システム。

Images