JPH11162152A - 歌詞表示制御情報編集装置 - Google Patents
歌詞表示制御情報編集装置Info
- Publication number
- JPH11162152A JPH11162152A JP9324058A JP32405897A JPH11162152A JP H11162152 A JPH11162152 A JP H11162152A JP 9324058 A JP9324058 A JP 9324058A JP 32405897 A JP32405897 A JP 32405897A JP H11162152 A JPH11162152 A JP H11162152A
- Authority
- JP
- Japan
- Prior art keywords
- lyric
- voice
- display control
- control information
- lyrics
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
(57)【要約】
【課題】 画面に表示されるカラオケ楽曲の歌詞文字を
表示制御する表示制御情報の編集装置において、従来
は、担当者の熟練度や曲の難易度によって、品質にばら
つきが生じ易く、編集所要工数もまちまちである。楽譜
情報を忠実に再現しても実際の歌手の歌唱表現に一致す
るとは限らない。 【解決手段】 歌詞表示制御情報編集装置１０は、演奏
テープ・ディスク２０から音声信号を取り込む音声入力
手段１１と、音声入力手段１１から歌詞文字音声を取り
出す歌詞音声認識手段１２と、歌詞音声認識手段１２か
らの歌詞文字音声を、その発声タイミングに対応させた
タイムコード付きの歌詞表示制御情報として出力する歌
詞表示制御情報出力手段１３とよりなる。歌詞表示制御
情報編集装置１０は、演奏テープ・ディスク２０から歌
詞文字音声を取り出して、自動的にタイムコード付き歌
詞表示制御情報を生成出力することができる。
表示制御する表示制御情報の編集装置において、従来
は、担当者の熟練度や曲の難易度によって、品質にばら
つきが生じ易く、編集所要工数もまちまちである。楽譜
情報を忠実に再現しても実際の歌手の歌唱表現に一致す
るとは限らない。 【解決手段】 歌詞表示制御情報編集装置１０は、演奏
テープ・ディスク２０から音声信号を取り込む音声入力
手段１１と、音声入力手段１１から歌詞文字音声を取り
出す歌詞音声認識手段１２と、歌詞音声認識手段１２か
らの歌詞文字音声を、その発声タイミングに対応させた
タイムコード付きの歌詞表示制御情報として出力する歌
詞表示制御情報出力手段１３とよりなる。歌詞表示制御
情報編集装置１０は、演奏テープ・ディスク２０から歌
詞文字音声を取り出して、自動的にタイムコード付き歌
詞表示制御情報を生成出力することができる。
Description
【０００１】
【発明の属する技術分野】本発明は歌詞表示制御情報編
集装置に係り、特に画面に表示されるカラオケ楽曲の歌
詞文字を表示制御する表示制御情報の編集装置に関す
る。
集装置に係り、特に画面に表示されるカラオケ楽曲の歌
詞文字を表示制御する表示制御情報の編集装置に関す
る。
【０００２】
【従来の技術】カラオケにおいては、楽曲の進行に合わ
せて画面に歌詞文字を表示し、発声する部分を順次色変
わり等で示すことにより、伴奏に合わせて歌詞を発声で
きるようにする。従来、この歌詞文字の色変わり等の表
示制御情報は、人手によって編集されており、曲の進行
に合わせて担当者が手動操作を行うことにより色変わり
の時間情報に反映させている。
せて画面に歌詞文字を表示し、発声する部分を順次色変
わり等で示すことにより、伴奏に合わせて歌詞を発声で
きるようにする。従来、この歌詞文字の色変わり等の表
示制御情報は、人手によって編集されており、曲の進行
に合わせて担当者が手動操作を行うことにより色変わり
の時間情報に反映させている。
【０００３】
【発明が解決しようとする課題】しかるに、上記の従来
例では、曲の進行に合わせて担当者が手動操作を行う必
要があるため、担当者が予め楽曲を覚えておかねばなら
ず、また、担当者の熟練度や曲の難易度によって、品質
にばらつきが生じ易く、編集所要工数もまちまちであ
る。
例では、曲の進行に合わせて担当者が手動操作を行う必
要があるため、担当者が予め楽曲を覚えておかねばなら
ず、また、担当者の熟練度や曲の難易度によって、品質
にばらつきが生じ易く、編集所要工数もまちまちであ
る。
【０００４】一方、楽譜情報から自動編集するという方
法も考えられるが、カラオケ制作時点で、楽譜を入手す
ることは難しく、また、楽譜情報を忠実に再現しても実
際の歌手の歌唱表現に一致するとは限らない。
法も考えられるが、カラオケ制作時点で、楽譜を入手す
ることは難しく、また、楽譜情報を忠実に再現しても実
際の歌手の歌唱表現に一致するとは限らない。
【０００５】本発明は以上の点に鑑みなされたもので、
歌詞文字の色変わり等の表示制御情報を、自動的に付与
することにより、熟練した担当者を要せず、均一な品質
の歌詞表示制御情報を出力することができる歌詞表示制
御情報編集装置を提供することを目的とする。
歌詞文字の色変わり等の表示制御情報を、自動的に付与
することにより、熟練した担当者を要せず、均一な品質
の歌詞表示制御情報を出力することができる歌詞表示制
御情報編集装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】上記の目的を達成するた
め、請求項１記載の本発明になる歌詞表示制御情報編集
装置は、図１の原理ブロック図に１０で示すように、演
奏テープ・ディスク２０等のメディアから音声信号を取
り込む音声入力手段１１と、音声入力手段１１から歌詞
文字音声を取り出す歌詞音声認識手段１２と、歌詞音声
認識手段１２からの歌詞文字音声を、その発声タイミン
グに対応させたタイムコード付きの歌詞表示制御情報と
して出力する歌詞表示制御情報出力手段１３とより構成
としたものである。歌詞表示制御情報出力手段１３から
のタイムコード付きの歌詞表示制御情報は、タイムコー
ド付き歌詞データファイル２１に記憶される。
め、請求項１記載の本発明になる歌詞表示制御情報編集
装置は、図１の原理ブロック図に１０で示すように、演
奏テープ・ディスク２０等のメディアから音声信号を取
り込む音声入力手段１１と、音声入力手段１１から歌詞
文字音声を取り出す歌詞音声認識手段１２と、歌詞音声
認識手段１２からの歌詞文字音声を、その発声タイミン
グに対応させたタイムコード付きの歌詞表示制御情報と
して出力する歌詞表示制御情報出力手段１３とより構成
としたものである。歌詞表示制御情報出力手段１３から
のタイムコード付きの歌詞表示制御情報は、タイムコー
ド付き歌詞データファイル２１に記憶される。
【０００７】この発明の歌詞表示制御情報編集装置１０
は、演奏テープ・ディスク２０等のメディアからオリジ
ナルの楽曲演奏の音声信号から歌詞文字音声を取り出し
て、自動的にタイムコード付き歌詞表示制御情報を生成
出力することができる。
は、演奏テープ・ディスク２０等のメディアからオリジ
ナルの楽曲演奏の音声信号から歌詞文字音声を取り出し
て、自動的にタイムコード付き歌詞表示制御情報を生成
出力することができる。
【０００８】また、上記の目的を達成するため、請求項
２記載の本発明になる歌詞表示制御情報編集装置は、図
２の原理ブロック図に３０で示す構成としたものであ
る。同図中、図１と同一構成部分には同一符号を付し、
その説明を省略する。この歌詞表示制御情報編集装置３
０は、歌詞音声認識手段１４を、歌詞データファイル２
２から歌詞文字データを取り出して、音声入力手段１１
からの歌詞文字音声と照合し、歌詞文字の読み毎に歌詞
文字音声の発声タイミングを対応付けて、歌詞表示制御
情報出力手段１３に歌詞文字音声を出力する構成とした
ものである。
２記載の本発明になる歌詞表示制御情報編集装置は、図
２の原理ブロック図に３０で示す構成としたものであ
る。同図中、図１と同一構成部分には同一符号を付し、
その説明を省略する。この歌詞表示制御情報編集装置３
０は、歌詞音声認識手段１４を、歌詞データファイル２
２から歌詞文字データを取り出して、音声入力手段１１
からの歌詞文字音声と照合し、歌詞文字の読み毎に歌詞
文字音声の発声タイミングを対応付けて、歌詞表示制御
情報出力手段１３に歌詞文字音声を出力する構成とした
ものである。
【０００９】この発明の歌詞表示制御情報編集装置３０
は、歌詞音声認識手段１４により歌詞文字データを参照
し、入力された音声信号から歌詞文字音声の発声タイミ
ングを対応付けるようにしており、歌詞音声認識の認識
候補を歌詞文字データの範囲に限定しているため、高速
・高精度の認識を行うことができる。
は、歌詞音声認識手段１４により歌詞文字データを参照
し、入力された音声信号から歌詞文字音声の発声タイミ
ングを対応付けるようにしており、歌詞音声認識の認識
候補を歌詞文字データの範囲に限定しているため、高速
・高精度の認識を行うことができる。
【００１０】更に、上記の目的を達成するため、請求項
３記載の本発明になる歌詞表示制御情報編集装置は、図
３の原理ブロック図に４０で示す構成としたものであ
る。同図中、図１及び図２と同一構成部分には同一符号
を付し、その説明を省略する。図３において、歌詞表示
制御情報編集装置４０の音声入力手段１５は、演奏テー
プ・ディスク２０等のメディアから取り込んだ音声信号
をボーカル音声信号と伴奏音声信号とに分離すると共に
分離した音声信号に対応する時間情報を設定する。歌詞
音声認識手段１６は、歌詞データファイル２２から歌詞
文字データを取り出して音声入力手段１５からのボーカ
ル音声信号と照合して歌詞文字の読み毎にボーカル音声
信号の発声タイミングを対応付けて、歌詞表示制御情報
出力手段１９に歌詞文字音声として出力する。
３記載の本発明になる歌詞表示制御情報編集装置は、図
３の原理ブロック図に４０で示す構成としたものであ
る。同図中、図１及び図２と同一構成部分には同一符号
を付し、その説明を省略する。図３において、歌詞表示
制御情報編集装置４０の音声入力手段１５は、演奏テー
プ・ディスク２０等のメディアから取り込んだ音声信号
をボーカル音声信号と伴奏音声信号とに分離すると共に
分離した音声信号に対応する時間情報を設定する。歌詞
音声認識手段１６は、歌詞データファイル２２から歌詞
文字データを取り出して音声入力手段１５からのボーカ
ル音声信号と照合して歌詞文字の読み毎にボーカル音声
信号の発声タイミングを対応付けて、歌詞表示制御情報
出力手段１９に歌詞文字音声として出力する。
【００１１】更に、音声入力手段１５からの伴奏音声信
号と時間情報を受け、伴奏音楽進行上の特徴となる進行
情報をタイムコードと対応して出力する伴奏音楽進行情
報抽出手段１７と、楽曲演奏データファイルからの伴奏
音楽の特徴データと伴奏音楽進行情報抽出手段１７から
の進行情報とを照合すると共に、楽曲演奏データファイ
ル２３からのメロディ演奏タイミングと伴奏音楽進行情
報抽出手段１７からのタイムコードとを比較して補正デ
ータを得る伴奏音楽進行情報照合手段１８とを具備す
る。そして、歌詞表示制御情報出力手段１９は、歌詞音
声認識手段１６からの歌詞文字音声を、その発声タイミ
ングに対応させ、かつ、伴奏音楽進行情報照合手段１８
からの補正データで補正したタイムコードと共に歌詞表
示制御情報として出力する。
号と時間情報を受け、伴奏音楽進行上の特徴となる進行
情報をタイムコードと対応して出力する伴奏音楽進行情
報抽出手段１７と、楽曲演奏データファイルからの伴奏
音楽の特徴データと伴奏音楽進行情報抽出手段１７から
の進行情報とを照合すると共に、楽曲演奏データファイ
ル２３からのメロディ演奏タイミングと伴奏音楽進行情
報抽出手段１７からのタイムコードとを比較して補正デ
ータを得る伴奏音楽進行情報照合手段１８とを具備す
る。そして、歌詞表示制御情報出力手段１９は、歌詞音
声認識手段１６からの歌詞文字音声を、その発声タイミ
ングに対応させ、かつ、伴奏音楽進行情報照合手段１８
からの補正データで補正したタイムコードと共に歌詞表
示制御情報として出力する。
【００１２】この発明の歌詞表示制御情報編集装置４０
は、伴奏音楽進行情報抽出手段１７により、音声入力手
段１５から入力された伴奏音声信号と時間情報に基づい
て伴奏音楽の特徴となる進行情報を抽出し、タイムコー
ドを付与する。伴奏音楽進行情報照合手段１８では、Ｍ
ＩＤＩ（music instrument digital interface）に代表
される楽曲演奏データファイル２３からの伴奏音楽の特
徴データと上記の進行情報とを照合し、伴奏音楽進行情
報抽出手段１７で付与したタイムコードを楽曲演奏デー
タファイル２３上のメロディ演奏タイミングと比較し補
正データを得る。歌詞表示制御情報出力手段１９は、歌
詞音声認識手段１６からの歌詞文字音声時のタイムコー
ドを上記の補正データで補正し歌詞文字に対応させて出
力する。
は、伴奏音楽進行情報抽出手段１７により、音声入力手
段１５から入力された伴奏音声信号と時間情報に基づい
て伴奏音楽の特徴となる進行情報を抽出し、タイムコー
ドを付与する。伴奏音楽進行情報照合手段１８では、Ｍ
ＩＤＩ（music instrument digital interface）に代表
される楽曲演奏データファイル２３からの伴奏音楽の特
徴データと上記の進行情報とを照合し、伴奏音楽進行情
報抽出手段１７で付与したタイムコードを楽曲演奏デー
タファイル２３上のメロディ演奏タイミングと比較し補
正データを得る。歌詞表示制御情報出力手段１９は、歌
詞音声認識手段１６からの歌詞文字音声時のタイムコー
ドを上記の補正データで補正し歌詞文字に対応させて出
力する。
【００１３】これにより、この発明では、別途作成した
楽曲演奏データファイル２３の演奏情報と整合性のとれ
た歌詞表示制御情報を作成し、カラオケデータファイル
に統合することができる。
楽曲演奏データファイル２３の演奏情報と整合性のとれ
た歌詞表示制御情報を作成し、カラオケデータファイル
に統合することができる。
【００１４】
【発明の実施の形態】次に、本発明の実施の形態につい
て、図４乃至図６と共に説明する。図４は本発明になる
歌詞表示制御情報編集装置の一実施の形態のブロック図
を示す。同図中、図３と同一構成部分には同一符号を付
してある。
て、図４乃至図６と共に説明する。図４は本発明になる
歌詞表示制御情報編集装置の一実施の形態のブロック図
を示す。同図中、図３と同一構成部分には同一符号を付
してある。
【００１５】図４において、歌詞表示制御情報編集装置
４０に入力されるオリジナルの楽曲演奏情報は、ディジ
タル又はアナログのテープ・メディア、またはディジタ
ル・ディスク・メディアである演奏テープ・ディスク２
０から供給される。このオリジナルの楽曲演奏情報は、
音声入力手段１５に入力される。
４０に入力されるオリジナルの楽曲演奏情報は、ディジ
タル又はアナログのテープ・メディア、またはディジタ
ル・ディスク・メディアである演奏テープ・ディスク２
０から供給される。このオリジナルの楽曲演奏情報は、
音声入力手段１５に入力される。
【００１６】音声入力手段１５は、メディア再生部１５
１、ボーカル音声分離部１５２及び時間情報設定部１５
３から構成されている。上記のオリジナルの楽曲演奏情
報は、メディア再生部１５１に入力され、ここでメディ
アの音声信号が取り込まれた後、ボーカル音声分離部１
５２に供給されてボーカル音声信号と伴奏音声信号に分
離される一方、時間情報設定部１５３に供給されて音声
信号に対応する時間情報が設定される。
１、ボーカル音声分離部１５２及び時間情報設定部１５
３から構成されている。上記のオリジナルの楽曲演奏情
報は、メディア再生部１５１に入力され、ここでメディ
アの音声信号が取り込まれた後、ボーカル音声分離部１
５２に供給されてボーカル音声信号と伴奏音声信号に分
離される一方、時間情報設定部１５３に供給されて音声
信号に対応する時間情報が設定される。
【００１７】歌詞音声認識手段１６は、歌詞発音認識部
１６１、音声認識辞書１６２、読み仮名設定部１６３、
歌詞文字照合部１６４及びタイムコード設定部１６５か
らなり、音声入力手段１５から入力された音声信号に対
して、歌詞文字を抽出し、暫定のタイムコードを設定す
る。
１６１、音声認識辞書１６２、読み仮名設定部１６３、
歌詞文字照合部１６４及びタイムコード設定部１６５か
らなり、音声入力手段１５から入力された音声信号に対
して、歌詞文字を抽出し、暫定のタイムコードを設定す
る。
【００１８】すなわち、音声入力手段１５内のボーカル
音声分離部１５２により分離されたボーカル音声信号が
歌詞発音認識部１６１に入力され、ここで音声認識辞書
１６２に基づき、単音節の歌詞文字が抽出される。一
方、読み仮名設定部１６３では歌詞データファイル２２
から歌詞文字データを取り出し、歌詞文字毎の発音を設
定する。歌詞文字照合部１６４は、歌詞発音認識部１６
１において抽出された単音節の歌詞文字を、読み仮名設
定部１６３で設定された歌詞文字と照合し対応付ける。
音声分離部１５２により分離されたボーカル音声信号が
歌詞発音認識部１６１に入力され、ここで音声認識辞書
１６２に基づき、単音節の歌詞文字が抽出される。一
方、読み仮名設定部１６３では歌詞データファイル２２
から歌詞文字データを取り出し、歌詞文字毎の発音を設
定する。歌詞文字照合部１６４は、歌詞発音認識部１６
１において抽出された単音節の歌詞文字を、読み仮名設
定部１６３で設定された歌詞文字と照合し対応付ける。
【００１９】ここで、実際の歌唱においては、一つの音
を伸ばして歌う場合がしばしばあり、母音が歌詞の表記
より多く認識されることがある。また、伸ばすことによ
って歌詞文字中の促音「っ」が認識されない場合があ
る。そこで、歌詞文字照合部１６４内の長音・促音処理
部１６６では、上記のような場合を検出し、次の歌詞文
字を照合することにより照合処理を続けられるようにす
る。
を伸ばして歌う場合がしばしばあり、母音が歌詞の表記
より多く認識されることがある。また、伸ばすことによ
って歌詞文字中の促音「っ」が認識されない場合があ
る。そこで、歌詞文字照合部１６４内の長音・促音処理
部１６６では、上記のような場合を検出し、次の歌詞文
字を照合することにより照合処理を続けられるようにす
る。
【００２０】タイムコード設定部１６５は、歌詞文字照
合部１６４で照合された歌詞文字の読み毎に、時間情報
設定部１５３で設定した時間情報を基にタイムコードを
設定し、歌詞文字と発声タイミングを対応付ける。こう
して、歌詞音声認識手段１６は、入力ボーカル音声信号
から歌詞文字音声と発生タイミングに対応付けた暫定の
タイムコードとを出力する。
合部１６４で照合された歌詞文字の読み毎に、時間情報
設定部１５３で設定した時間情報を基にタイムコードを
設定し、歌詞文字と発声タイミングを対応付ける。こう
して、歌詞音声認識手段１６は、入力ボーカル音声信号
から歌詞文字音声と発生タイミングに対応付けた暫定の
タイムコードとを出力する。
【００２１】また、伴奏音楽進行情報抽出手段１７は、
ピッチ抽出部１７１及びタイムコード設定部１７２から
構成されており、ボーカル音声分離部１５２で分離され
た伴奏音声信号がピッチ抽出部１７１に入力され、ここ
で伴奏音楽進行上の特徴となるメロディ情報を抽出し、
タイムコード設定部１７２で、時間情報設定部１５３で
設定した時間情報を基にタイムコードを設定し、メロデ
ィ情報と演奏タイミングを対応付けたタイムコードをメ
ロディ情報と共に出力する。
ピッチ抽出部１７１及びタイムコード設定部１７２から
構成されており、ボーカル音声分離部１５２で分離され
た伴奏音声信号がピッチ抽出部１７１に入力され、ここ
で伴奏音楽進行上の特徴となるメロディ情報を抽出し、
タイムコード設定部１７２で、時間情報設定部１５３で
設定した時間情報を基にタイムコードを設定し、メロデ
ィ情報と演奏タイミングを対応付けたタイムコードをメ
ロディ情報と共に出力する。
【００２２】伴奏音楽進行情報照合手段１８は、パート
選択・進行情報照合部１８１及びタイムコード補正抽出
部１８２から構成されている。パート選択・進行情報照
合部１８１は、別途作成された楽曲演奏データファイル
２３からメロディ・パートを取り出して、伴奏音楽進行
情報抽出手段１７で抽出されて入力されるメロディ情報
と照合する。
選択・進行情報照合部１８１及びタイムコード補正抽出
部１８２から構成されている。パート選択・進行情報照
合部１８１は、別途作成された楽曲演奏データファイル
２３からメロディ・パートを取り出して、伴奏音楽進行
情報抽出手段１７で抽出されて入力されるメロディ情報
と照合する。
【００２３】ここで、演奏スタート時間のオフセットや
演奏速度の違いにより、楽曲演奏データファイル２３と
演奏テープ・ディスク２０から抽出したデータでは同じ
部分を演奏するタイミングが異なることが考えられる。
このため、タイムコード補正抽出部１８２においては、
楽曲演奏データファイル２３の演奏タイミングと伴奏音
楽進行情報抽出手段１７で抽出したメロディの演奏タイ
ミングのずれを、各演奏タイミング毎のタイムコード補
正データとして取り出す。
演奏速度の違いにより、楽曲演奏データファイル２３と
演奏テープ・ディスク２０から抽出したデータでは同じ
部分を演奏するタイミングが異なることが考えられる。
このため、タイムコード補正抽出部１８２においては、
楽曲演奏データファイル２３の演奏タイミングと伴奏音
楽進行情報抽出手段１７で抽出したメロディの演奏タイ
ミングのずれを、各演奏タイミング毎のタイムコード補
正データとして取り出す。
【００２４】歌詞表示制御情報出力手段１９は、歌詞文
字表記・読み設定部１９１、タイムコード補正設定部１
９２及びファイル出力部１９３より構成されており、歌
詞音声認識手段１６で得た歌詞文字発声タイミングを、
伴奏音楽進行情報照合手段１８で得た補正データを基に
補正し、タイムコード付き歌詞データファイル２１とし
て出力する。
字表記・読み設定部１９１、タイムコード補正設定部１
９２及びファイル出力部１９３より構成されており、歌
詞音声認識手段１６で得た歌詞文字発声タイミングを、
伴奏音楽進行情報照合手段１８で得た補正データを基に
補正し、タイムコード付き歌詞データファイル２１とし
て出力する。
【００２５】すなわち、歌詞表示制御情報出力手段１９
内の歌詞文字表記・読み設定部１９１は、歌詞音声認識
手段１６内のタイムコード設定部１６５から入力された
歌詞文字音声と暫定のタイムコードのうち、歌詞文字音
声に基づいて歌詞文字表記及び読みを設定し、暫定のタ
イムコードと共にタイムコード補正設定部１９２に渡
す。タイムコード補正設定部１９２は、各歌詞文字の読
み毎に、入力暫定タイムコードを、伴奏音楽進行情報照
合手段１８内のタイムコード補正抽出部１８２で得た補
正データを用いて補正し設定する。同じ表記でも読みが
複数の音節から成る場合、歌い方によって色変わり等の
進行表示を変える必要がある。このため、タイムコード
補正設定部１９２は、歌詞の読み毎にタイムコードを設
定する。
内の歌詞文字表記・読み設定部１９１は、歌詞音声認識
手段１６内のタイムコード設定部１６５から入力された
歌詞文字音声と暫定のタイムコードのうち、歌詞文字音
声に基づいて歌詞文字表記及び読みを設定し、暫定のタ
イムコードと共にタイムコード補正設定部１９２に渡
す。タイムコード補正設定部１９２は、各歌詞文字の読
み毎に、入力暫定タイムコードを、伴奏音楽進行情報照
合手段１８内のタイムコード補正抽出部１８２で得た補
正データを用いて補正し設定する。同じ表記でも読みが
複数の音節から成る場合、歌い方によって色変わり等の
進行表示を変える必要がある。このため、タイムコード
補正設定部１９２は、歌詞の読み毎にタイムコードを設
定する。
【００２６】図５は歌詞表示制御情報の設定例を示す。
同図に示すように、歌詞が同じ表記「仕事」であって
も、例えば「しごとー」と歌う場合と「しごーと」と歌
う場合があり、前者の場合は各読み「し」、「ご」、
「と」はそれぞれ同一時間間隔でタイムコードが設定さ
れるのに対し、後者の場合は「し」と「ご」の時間間隔
に比べて「ご」と「と」の時間間隔が２倍の長さに設定
される。このように、タイムコード補正設定部１９２に
おいて、歌詞の読み毎にタイムコードが設定される。
同図に示すように、歌詞が同じ表記「仕事」であって
も、例えば「しごとー」と歌う場合と「しごーと」と歌
う場合があり、前者の場合は各読み「し」、「ご」、
「と」はそれぞれ同一時間間隔でタイムコードが設定さ
れるのに対し、後者の場合は「し」と「ご」の時間間隔
に比べて「ご」と「と」の時間間隔が２倍の長さに設定
される。このように、タイムコード補正設定部１９２に
おいて、歌詞の読み毎にタイムコードが設定される。
【００２７】ファイル出力部１９３は、タイムコード補
正設定部１９２において、歌詞の読み毎に設定されたタ
イムコードを、歌詞情報と共にタイムコード付き歌詞デ
ータファイル２１として出力する。上記のタイムコード
に基づき、歌詞文字の色変わり等の表示制御が自動的に
付与される。
正設定部１９２において、歌詞の読み毎に設定されたタ
イムコードを、歌詞情報と共にタイムコード付き歌詞デ
ータファイル２１として出力する。上記のタイムコード
に基づき、歌詞文字の色変わり等の表示制御が自動的に
付与される。
【００２８】図６は本実施の形態におけるタイムコード
の補正の例を示す。伴奏音楽進行情報照合手段１８で演
奏テープ・ディスク２０より抽出されたメロディを図６
（Ｂ）に示し、楽曲演奏データファイル２３のメロディ
の特徴を図６（Ｃ）に示し、更に歌詞表示制御情報出力
手段１９内の歌詞文字表記・読み設定部１９１で認識さ
れた歌詞と入力された暫定のタイムコードを図６（Ａ）
に示すものとすると、タイムコード補正設定部１９２
は、各歌詞文字の読み毎に、入力暫定タイムコードを、
伴奏音楽進行情報照合手段１８内のタイムコード補正抽
出部１８２で得た、図６（Ｄ）に示す補正データを用い
て補正し設定する。
の補正の例を示す。伴奏音楽進行情報照合手段１８で演
奏テープ・ディスク２０より抽出されたメロディを図６
（Ｂ）に示し、楽曲演奏データファイル２３のメロディ
の特徴を図６（Ｃ）に示し、更に歌詞表示制御情報出力
手段１９内の歌詞文字表記・読み設定部１９１で認識さ
れた歌詞と入力された暫定のタイムコードを図６（Ａ）
に示すものとすると、タイムコード補正設定部１９２
は、各歌詞文字の読み毎に、入力暫定タイムコードを、
伴奏音楽進行情報照合手段１８内のタイムコード補正抽
出部１８２で得た、図６（Ｄ）に示す補正データを用い
て補正し設定する。
【００２９】ここで、△Ｔ１は実際に補正データを抽出
しておらず、タイムコード補正設定部１９２は補正デー
タを△Ｔ０及び△Ｔ２から補間することにより、△Ｔ１
を求め、タイムコード補正を行い、図６（Ｅ）に示すよ
うに歌詞及びタイムコードを出力する。このように、こ
の実施の形態によれば、熟練した担当者を必要とせず
に、自動的に均一な品質の歌詞表示制御情報を得ること
ができる。
しておらず、タイムコード補正設定部１９２は補正デー
タを△Ｔ０及び△Ｔ２から補間することにより、△Ｔ１
を求め、タイムコード補正を行い、図６（Ｅ）に示すよ
うに歌詞及びタイムコードを出力する。このように、こ
の実施の形態によれば、熟練した担当者を必要とせず
に、自動的に均一な品質の歌詞表示制御情報を得ること
ができる。
【００３０】
【発明の効果】以上説明したように、請求項１記載の本
発明によれば、音声入力手段からオリジナルの楽曲演奏
が記録されたメディアの音声信号を入力し、歌詞音声認
識手段で入力された音声信号から歌詞文字音声を取り出
し、歌詞表示制御情報出力手段で、発声された歌詞文字
に発声時のタイムコードを対応させて出力し、タイムコ
ード付きの歌詞文字情報を作成するようにしたため、オ
リジナルの楽曲演奏メディアから自動的に、タイムコー
ド付き歌詞文字情報を作成し、歌詞表示制御情報を自動
的に編集することができる。
発明によれば、音声入力手段からオリジナルの楽曲演奏
が記録されたメディアの音声信号を入力し、歌詞音声認
識手段で入力された音声信号から歌詞文字音声を取り出
し、歌詞表示制御情報出力手段で、発声された歌詞文字
に発声時のタイムコードを対応させて出力し、タイムコ
ード付きの歌詞文字情報を作成するようにしたため、オ
リジナルの楽曲演奏メディアから自動的に、タイムコー
ド付き歌詞文字情報を作成し、歌詞表示制御情報を自動
的に編集することができる。
【００３１】また、請求項２記載の本発明によれば、歌
詞音声認識手段で、歌詞文字文書データを参照し、入力
された音声信号から歌詞文字データに対応する歌詞文字
音声を取り出すことで、歌詞音声認識の認識候補を歌詞
文字データの範囲に限定するようにしたため、高速・高
精度の認識を行うことができる。
詞音声認識手段で、歌詞文字文書データを参照し、入力
された音声信号から歌詞文字データに対応する歌詞文字
音声を取り出すことで、歌詞音声認識の認識候補を歌詞
文字データの範囲に限定するようにしたため、高速・高
精度の認識を行うことができる。
【００３２】更に、請求項３記載の本発明によれば、請
求項１または請求項２の歌詞表示制御情報編集装置にお
いて、伴奏音楽進行情報抽出手段で、音声入力手段より
入力された音声信号から、伴奏音楽の特徴データを抽出
し、タイムコードを付与し、伴奏音楽進行情報照合手段
では、楽曲演奏データファイルより取り出した伴奏音楽
の特徴データと伴奏音楽進行情報抽出手段にて取り出し
た伴奏音楽の特徴データを照合し、前記伴奏音楽進行情
報抽出手段で付与したタイムコードを楽曲演奏データフ
ァイル上の進行情報と比較し補正データを得るように
し、更に歌詞表示制御情報出力手段では前記補正データ
に基づき歌詞文字音声時のタイムコードを補正し歌詞文
字に対応させて出力するようにしたため、別途作成した
楽曲演奏データファイルの演奏情報と整合性のとれた歌
詞表示制御情報を作成し、カラオケデータファイルに統
合することができる。
求項１または請求項２の歌詞表示制御情報編集装置にお
いて、伴奏音楽進行情報抽出手段で、音声入力手段より
入力された音声信号から、伴奏音楽の特徴データを抽出
し、タイムコードを付与し、伴奏音楽進行情報照合手段
では、楽曲演奏データファイルより取り出した伴奏音楽
の特徴データと伴奏音楽進行情報抽出手段にて取り出し
た伴奏音楽の特徴データを照合し、前記伴奏音楽進行情
報抽出手段で付与したタイムコードを楽曲演奏データフ
ァイル上の進行情報と比較し補正データを得るように
し、更に歌詞表示制御情報出力手段では前記補正データ
に基づき歌詞文字音声時のタイムコードを補正し歌詞文
字に対応させて出力するようにしたため、別途作成した
楽曲演奏データファイルの演奏情報と整合性のとれた歌
詞表示制御情報を作成し、カラオケデータファイルに統
合することができる。
【００３３】以上により、本発明装置によれば、歌詞文
字の色変わり等の表示制御情報を、自動的に付与するこ
とができる。これにより、熟練した担当者を要せず、均
一な品質の歌詞表示制御情報を出力することができる。
字の色変わり等の表示制御情報を、自動的に付与するこ
とができる。これにより、熟練した担当者を要せず、均
一な品質の歌詞表示制御情報を出力することができる。
【図１】請求項１記載の発明の原理ブロック図である。
【図２】請求項２記載の発明の原理ブロック図である。
【図３】請求項３記載の発明の原理ブロック図である。
【図４】本発明の一実施の形態のブロック図である。
【図５】歌詞表示制御情報の一設定例を示す図である。
【図６】図４によるタイムコードの補正の概要を示す図
である。
である。
１０、３０、４０ 歌詞表示制御情報編集装置 １１、１５ 音声入力手段 １２、１４、１６ 歌詞音声認識手段 １３、１９ 歌詞表示制御情報出力手段 １７ 伴奏音楽進行情報抽出手段 １８ 伴奏音楽進行情報照合手段 ２０ 演奏テープ・ディスク ２１ タイムコード付き歌詞データファイル ２２ 歌詞データファイル ２３ 楽曲演奏データファイル １５１ メディア再生部 １５２ ボーカル音声分離部 １５３ 時間情報設定部 １６１ 歌詞発音認識部（音節抽出） １６２ 音声認識辞書 １６３ 読み仮名設定部 １６４ 歌詞文字照合部 １６５、１７２ タイムコード設定部 １６６ 長音・促音処理部 １７１ ピッチ抽出部 １８１ パート選択・進行情報照合部 １８２ タイムコード補正抽出部 １９１ 歌詞文字表記・読み設定部 １９２ タイムコード補正設定部 １９３ ファイル出力部
Claims (3)
- 【請求項１】 メディアから音声信号を取り込む音声入
力手段と、 前記音声入力手段から歌詞文字音声を取り出す歌詞音声
認識手段と、 前記歌詞音声認識手段からの歌詞文字音声をその発声タ
イミングに対応させたタイムコード付きの歌詞表示制御
情報として出力する歌詞表示制御情報出力手段とを有す
ることを特徴とする歌詞表示制御情報編集装置。 - 【請求項２】 前記歌詞音声認識手段は、歌詞データフ
ァイルから歌詞文字データを取り出して前記音声入力手
段からの歌詞文字音声と照合して前記歌詞文字の読み毎
に前記歌詞文字音声の発声タイミングを対応付けて、前
記歌詞表示制御情報出力手段に前記歌詞文字音声を出力
することを特徴とする請求項１記載の歌詞表示制御情報
編集装置。 - 【請求項３】 前記音声入力手段は、前記メディアから
取り込んだ音声信号をボーカル音声信号と伴奏音声信号
とに分離すると共に分離した音声信号に対応する時間情
報を設定し、前記歌詞音声認識手段は、歌詞データファ
イルから歌詞文字データを取り出して前記音声入力手段
からのボーカル音声信号と照合して前記歌詞文字の読み
毎に前記ボーカル音声信号の発声タイミングを対応付け
て、前記歌詞表示制御情報出力手段に前記歌詞文字音声
として出力し、 前記音声入力手段からの伴奏音声信号と時間情報を受
け、伴奏音楽進行上の特徴となる進行情報をタイムコー
ドと対応して出力する伴奏音楽進行情報抽出手段と、 楽曲演奏データファイルからの伴奏音楽の特徴データと
前記伴奏音楽進行情報抽出手段からの進行情報とを照合
すると共に、前記楽曲演奏データファイルからのメロデ
ィ演奏タイミングと前記伴奏音楽進行情報抽出手段から
のタイムコードとを比較して補正データを得る伴奏音楽
進行情報照合手段とを更に具備し、前記歌詞表示制御情
報出力手段は、前記歌詞音声認識手段からの歌詞文字音
声を、その発声タイミングに対応させ、かつ、前記伴奏
音楽進行情報照合手段からの補正データで補正したタイ
ムコードと共に歌詞表示制御情報として出力することを
特徴とする請求項１記載の歌詞表示制御情報編集装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9324058A JPH11162152A (ja) | 1997-11-26 | 1997-11-26 | 歌詞表示制御情報編集装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9324058A JPH11162152A (ja) | 1997-11-26 | 1997-11-26 | 歌詞表示制御情報編集装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11162152A true JPH11162152A (ja) | 1999-06-18 |
Family
ID=18161692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9324058A Pending JPH11162152A (ja) | 1997-11-26 | 1997-11-26 | 歌詞表示制御情報編集装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11162152A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003023765A1 (en) * | 2001-09-12 | 2003-03-20 | Ryshco Media Inc. | Method and device for processing audiovisual data using speech recognition |
| JP2009008884A (ja) * | 2007-06-28 | 2009-01-15 | Internatl Business Mach Corp <Ibm> | 音声の再生に同期して音声の内容を表示させる技術 |
| JP2013218406A (ja) * | 2012-04-05 | 2013-10-24 | Nippon Telegraph & Telephone West Corp | タイミング編集装置、タイミング編集方法及びコンピュータプログラム |
-
1997
- 1997-11-26 JP JP9324058A patent/JPH11162152A/ja active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003023765A1 (en) * | 2001-09-12 | 2003-03-20 | Ryshco Media Inc. | Method and device for processing audiovisual data using speech recognition |
| US7343082B2 (en) | 2001-09-12 | 2008-03-11 | Ryshco Media Inc. | Universal guide track |
| JP2009008884A (ja) * | 2007-06-28 | 2009-01-15 | Internatl Business Mach Corp <Ibm> | 音声の再生に同期して音声の内容を表示させる技術 |
| US8065142B2 (en) | 2007-06-28 | 2011-11-22 | Nuance Communications, Inc. | Synchronization of an input text of a speech with a recording of the speech |
| US8209169B2 (en) | 2007-06-28 | 2012-06-26 | Nuance Communications, Inc. | Synchronization of an input text of a speech with a recording of the speech |
| JP2013218406A (ja) * | 2012-04-05 | 2013-10-24 | Nippon Telegraph & Telephone West Corp | タイミング編集装置、タイミング編集方法及びコンピュータプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5750912A (en) | Formant converting apparatus modifying singing voice to emulate model voice | |
| JP6587007B1 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
| US9595256B2 (en) | System and method for singing synthesis | |
| JP2897659B2 (ja) | カラオケ装置 | |
| Mauch et al. | Integrating additional chord information into HMM-based lyrics-to-audio alignment | |
| US20210193114A1 (en) | Electronic musical instruments, method and storage media | |
| CN103810992A (zh) | 语音合成方法和语音合成设备 | |
| CN103503015A (zh) | 利用客户端终端机的音乐内容制作系统 | |
| JP6615952B1 (ja) | テキスト表示用同期情報生成装置および方法 | |
| JP5598516B2 (ja) | カラオケ用音声合成システム，及びパラメータ抽出装置 | |
| JP6760457B2 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
| JP2008020621A (ja) | コンテンツオーサリングシステム | |
| US5806039A (en) | Data processing method and apparatus for generating sound signals representing music and speech in a multimedia apparatus | |
| JPH11162152A (ja) | 歌詞表示制御情報編集装置 | |
| JP2008039833A (ja) | 音声評価装置 | |
| US20220044662A1 (en) | Audio Information Playback Method, Audio Information Playback Device, Audio Information Generation Method and Audio Information Generation Device | |
| JPH08160975A (ja) | カラオケ選曲装置 | |
| TWI269191B (en) | Method of synchronizing speech waveform playback and text display | |
| JP2001013976A (ja) | カラオケ装置 | |
| JP5193654B2 (ja) | デュエットパート歌唱生成システム | |
| JPH09179572A (ja) | 音声変換回路とカラオケ装置 | |
| JPS6184771A (ja) | 音声入力装置 | |
| JP2686085B2 (ja) | 音声認識システム | |
| JP2547612B2 (ja) | 文章作成システム | |
| EP0396141A2 (en) | System for and method of synthesizing singing in real time |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040127 |