JP2838977B2 - カラオケ装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、カラオケの歌唱者の
音声を、たとえばオリジナル歌手の音声に似せて出力す
ることのできるカラオケ装置に関する。

【０００２】

【従来の技術】カラオケ装置において、歌唱を楽しくす
るため、または、歌唱を上手く聞かせるために歌唱音声
を種々に加工することのできるカラオケ装置が提案され
ている。たとえば、歌唱音声の質を大きく変えて変わっ
た／面白い声にする装置や、歌唱音声のピッチをたとえ
ば３度高くしてハーモニ音声を発生するカラオケ装置が
提案されている。

【０００３】

【発明が解決しようとする課題】一方、カラオケ歌唱者
の欲求としては、その曲を歌っているプロ歌手（オリジ
ナル歌手）と同じように歌いたいという欲求がある。し
かし、従来の装置では、歌唱者の音声をオリジナル歌手
の音色に変換することはできなかった。

【０００４】この発明は、歌唱者がオリジナル歌手のよ
うな声でカラオケを歌うことができるカラオケ装置を提
供することを目的とする。

【０００５】

【課題を解決するための手段】この出願の請求項１の発
明は、少なくとも楽音情報と楽音情報の進行に対応した
波形データを記憶する記憶手段と、楽音情報を再生する
音源手段と、カラオケ歌唱者の歌唱音声を入力する入力
手段と、歌唱音声を母音と子音に分離する分離手段と、
楽音情報の進行に伴って波形データを読み出し、この波
形データから母音波形を合成する母音合成手段と、子音
と母音波形を連接して出力する連接合成手段とを有する
ことを特徴とする。

【０００６】この出願の請求項２の発明は、少なくとも
楽音情報と楽音情報の進行に対応した波形データを記憶
する記憶手段と、楽音情報を再生する音源手段と、カラ
オケ歌唱者の歌唱音声を入力する入力手段と、歌唱音声
を母音と子音に分離する分離手段と、母音からピッチ情
報とレベル情報を検出する検出手段と、楽音情報の進行
に伴って波形データを読み出し、ピッチ情報、レベル情
報および読み出した波形データに基づいて母音波形を合
成する母音合成手段と、子音と母音波形を連接して出力
する連接合成手段とを有することを特徴とする。

【０００７】この出願の請求項３の発明は、請求項１ま
たは請求項２の発明において、記憶手段は、楽音情報の
進行に対応した歌詞情報を記憶することを特徴とする。

【０００８】

【０００９】

【作用】この発明のカラオケ装置では、記憶手段に（た
とえばカラオケ曲のオリジナル歌手）の音声の特徴を表
す波形データを記憶している。入力手段からカラオケ歌
唱者の歌唱音声が入力されると、この歌唱音声を母音と
子音に分離し、母音を前記波形データから合成した母音
波形に置き換えた音声を合成する。この音声を歌唱者の
歌唱信号として出力することにより、歌唱者がたとえば
オリジナル歌手であるかのようなカラオケ歌唱をするこ
とができる。

【００１０】また、この発明のカラオケ装置では、カラ
オケ歌唱者の歌唱音声が入力されたとき、この歌唱音声
の子音と母音とを分離し、分離された母音からピッチ情
報およびレベル情報を検出してこのピッチ情報、レベル
情報と波形データに基づいて母音波形を合成する。この
母音を前記分離されたカラオケ歌唱者の子音と連接する
ことにより歌唱の音声を合成する。この歌唱音声信号
は、子音によってカラオケ歌唱者の歌い方の特徴が維持
され、且つ、母音によって特定人（オリジナル歌手）の
音色が特徴づけられている。これにより、あたかも歌唱
者が特定人の声を備えているかのようなカラオケ歌唱を
することができる。

【００１１】

【００１２】

【実施例】図面を参照してこの発明の実施例である音声
変換機能を備えたカラオケ装置について説明する。この
実施例のカラオケ装置は、いわゆる音源カラオケ装置で
ある。音源カラオケ装置とは、楽曲データで音源装置を
駆動することによりカラオケ演奏音を発生するものであ
る。また、このカラオケ装置は通信型カラオケ装置であ
り、通信回線を介してホストステーションと接続され、
楽曲データをホストステーションからダウンロードして
ハードディスク装置１７（図１参照）に蓄える。ハード
ディスク装置１７は、楽曲データを数百〜数千曲分記憶
することができる。また、上記音声変換機能とは、カラ
オケの歌唱者の歌唱音声をそのまま出力するのではな
く、オリジナル歌手など他者の音色に変換して出力する
機能であり、そのための特別情報も前記楽曲データに付
随して、ハードディスク装置１７に記憶されている。

【００１３】まず、図３〜図６を参照して同カラオケ装
置がカラオケ演奏に用いる楽曲データの構成について説
明する。図３は楽曲データの構成を示す図である。ま
た、図４，図５は楽曲データの詳細な構成を示す図であ
る。さらに、図６は楽曲データに含まれる音素データの
構成を説明する図である。

【００１４】図３において、１つの楽曲データは、ヘッ
ダ，楽音トラック，歌詞トラック，音声トラック，ＤＳ
Ｐコントロールトラック，音素トラックおよび音声デー
タ部からなっている。ヘッダは、この楽曲データに関す
る種々のデータが書き込まれる部分であり、曲名，ジャ
ンル，発売日，曲の演奏時間（長さ）などのデータが書
き込まれている。ＣＰＵ１０（図１参照：以下同様）
は、メインシーケンスプログラムの実行時にジャンルデ
ータに基づいてモニタ２６に表示する背景映像を決定
し、ＬＤチェンジャ２４に対してその映像のチャプタナ
ンバを送信する。背景映像の決定方式は、冬をテーマに
した演歌の場合には雪国の映像を選択し、ポップスの場
合には外国の映像を選択するなどである。

【００１５】図４，図５において、楽音トラックには、
メロディトラック，リズムトラックを初めとして種々の
パートのトラックが形成されている。各トラックには、
イベントデータとデュレーションデータΔｔからなるシ
ーケンスデータが書き込まれている。ＣＰＵ１０は、楽
音シーケンスプログラムを実行することによってデュレ
ーションデータΔｔをカウントし、次のイベントデータ
の出力タイミングになるとそのイベントデータを音源装
置１８に出力する。音源装置１８はそのイベントデータ
に含まれているチャンネル指定データに基づいて発音チ
ャンネルを選択し、その発音チャンネルについてそのイ
ベントを実行する。

【００１６】歌詞トラックは、モニタ２６上に歌詞を表
示するためのシーケンスデータを記憶したトラックであ
る。このシーケンスデータは楽音データではないが、イ
ンプリメンテーションの統一をとり、作業工程を容易に
するためこのトラックもＭＩＤＩデータ形式で記述され
ている。データ種類は、システム・エクスクルーシブ・
メッセージである。歌詞トラックのデータ記述におい
て、通常は１行の歌詞を１つの歌詞表示データとして扱
っている。歌詞表示データは１行の歌詞の文字データ
（文字コードおよびその文字の表示座標）、この歌詞の
表示時間（通常は３０秒前後）、および、ワイプシーケ
ンスデータからなっている。ワイプシーケンスデータと
は、曲の進行に合わせて歌詞の表示色を変更してゆくた
めのシーケンスデータであり、表示色を変更するタイミ
ング（この歌詞が表示されてからの時間）と変更位置
（座標）が１行分の長さにわたって順次記録されている
データである。

【００１７】音声トラックは、音声データ部に記憶され
ている音声データｎ（ｎ＝１，２，３，‥‥）の発生タ
イミングなどを指定するシーケンストラックである。音
声データ部には、音源装置１９で合成しにくいバックコ
ーラスやハーモニー歌唱などの人声が記憶されている。
音声トラックには、音声指定データと音声指定データの
読み出し間隔、すなわち、音声データを音声データ処理
部１９に出力して音声信号形成するタイミングを指定す
るデュレーションデータΔｔが書き込まれている。音声
指定データは、音声データ番号，音程データおよび音量
データからなっている。音声データ番号は、音声データ
部に記録されている各音声データの識別番号ｎである。
音程データ，音量データは、形成すべき音声データの音
程や音量を指示するデータである。すなわち、言葉を伴
わない「アー」や「ワワワワッ」などのバックコーラス
は、音程や音量を変化させれば何度も利用できるため、
基本的な音程，音量で１つ記憶しておき、このデータに
基づいて音程や音量をシフトして繰り返し使用する。音
声データ処理部１９は音量データに基づいて出力レベル
を設定し、音程データに基づいて音声データの読出間隔
を変えることによって音声信号の音程を設定する。

【００１８】ＤＳＰコンロールトラックには、音源装置
１９およびＤ／Ａコンバータ２０の後段に接続されてい
るＤＳＰ２１の制御データが書き込まれている。ＤＳＰ
２１は主として楽音にリバーブなどの残響系の効果を付
与するためのものであり、ＤＳＰコントロールトラック
に記録されている効果の種類データと変化量データに基
づいて、その効果が時間的に調整される。

【００１９】一方、音素トラックは、図６に示す音素デ
ータｓ１，ｓ２，‥‥を時系列に記憶し、各音素データ
の間に各音素の属する音節の長さを表すデュレーション
データｅ１，ｅ２，‥‥を記憶している。当該楽曲デー
タ（カラオケ曲）の演奏開始時に上記楽音トラック〜Ｄ
ＳＰコントロールトラックはＨＤＤ１７からＲＡＭ１２
に読み込まれＣＰＵ１０によって読み出されるが、この
音素トラックはＨＤＤ１７から直接音声変換ＤＳＰ３０
内のＲＡＭに読み込まれ、音声変換ＤＳＰ３０によって
他のデータと同期をとって逐次読み出される。

【００２０】図６において、歌詞「あかしやの」は、そ
れぞれ「あ」「か」「し」「や」「の」の５個の音節か
らなっており、音素データｓ１，ｓ２，‥‥は、各音節
の母音“ａ”，“ａ”，“ｉ”，“ａ”，“ｏ”の特徴
を抽出したものである。音素データとしては、母音の波
形をコード化したサンプルデータ，平均のアンプリチュ
ード（振幅），ビブラートの周波数，ビブラートの深さ
（振幅）および付加音ノイズ特性である。ここで、付加
音ノイズ特性とは、母音に混じっている非周期的なノイ
ズの特徴を示すデータである。

【００２１】図１は同音声変換機能を備えたカラオケ装
置のブロック図である。装置全体の動作を制御するＣＰ
Ｕ１０には、バスを介してＲＯＭ１１，ＲＡＭ１２，ハ
ードディスク記憶装置（ＨＤＤ）１７，ＩＳＤＮコント
ローラ１６，リモコン受信機１３，表示パネル１４，パ
ネルスイッチ１５，音源装置１８，音声データ処理部１
９，効果用ＤＳＰ２０，文字表示部２３，ＬＤチェンジ
ャ２４，表示制御部２５および音声変換用ＤＳＰ３０が
接続されている。

【００２２】ＲＯＭ１１には、システムプログラム，ア
プリケーションプログラム，ローダおよびフォントデー
タが記憶されている。システムプログラムは、この装置
の基本動作や周辺機器とのデータ送受を制御するプログ
ラムである。アプリケーションプログラムは周辺機器制
御プログラム，シーケンスプログラムなどである。シー
ケンスプログラムは、メインシーケンスプログラム，楽
音シーケンスプログラム，文字シーケンスプログラム，
音声シーケンスプログラムおよびＤＳＰシーケンスプロ
グラムなどからなっている。カラオケ演奏時には各シー
ケンスプログラムがＣＰＵ１０によって並列処理され、
楽曲データに基づいた楽音の発生，映像の再生が行われ
る。ローダは、ホストステーションから楽曲データをダ
ウンロードするためのプログラムである。フォントデー
タは、歌詞や曲名などを表示するためのものであり、明
朝体やゴジック体などの複数種類の文字種のフォントが
記憶されている。また、ＲＡＭ１２には、ワークエリア
が設定される。ＨＤＤ１７には楽曲データファイルが設
定される。

【００２３】ＩＳＤＮコントローラ１６は、ＩＳＤＮ回
線を介してホストステーションと交信するためのコント
ローラである。ホストステーションからは楽曲データな
どがダウンロードされる。ＩＳＤＮコントローラ１６は
ＤＭＡ回路を内蔵しており、ダウンロードされた楽曲デ
ータやアプリケーションプログラムをＣＰＵ１０を介さ
ずに直接ＨＤＤ１７に書き込む。

【００２４】リモコン受信機１３はリモコン３１から送
られてくる赤外線信号を受信してデータを復元する。リ
モコン３１は選曲スイッチなどのコマンドスイッチやテ
ンキースイッチなどを備えており、利用者がこれらのス
イッチを操作するとその操作に応じたコードで変調され
た赤外線信号を送信する。表示パネル１４はこのカラオ
ケ装置の前面に設けられており、現在演奏中の曲コード
や予約曲数などを表示するものである。パネルスイッチ
１５はカラオケ装置の前面操作部に設けられており、曲
コード入力スイッチやキーチェンジスイッチなどを含ん
でいる。

【００２５】音源装置１８は、楽曲データに基づいて楽
音信号を形成する。音声データ処理部１９は、楽曲デー
タに含まれるＡＤＰＣＭデータである音声データに基づ
き、指定された長さ，指定された音高の音声信号を形成
する。音声データは、バックコーラスや模範歌唱音など
の音源装置１８で電子的に発生しにくい信号波形をその
ままディジタル化して記憶したものである。音源装置１
８が形成した楽音信号、音声データ処理部１９が形成し
た音声信号および音声変換用ＤＳＰ３０から入力される
歌唱音声信号は効果用ＤＳＰ２０に入力される。効果用
ＤＳＰ２０は、これら入力された音声信号や楽音信号に
対してリバーブやエコーなどの効果を付与する。効果用
ＤＳＰ２０が付与する効果の種類や程度は、楽曲データ
に含まれているＤＳＰコントロールデータに基づいて制
御される。ＤＳＰコントロールデータはＤＳＰコントロ
ール用シーケンスプログラムに基づき、ＣＰＵ１０が所
定のタイミングに効果用ＤＳＰ２０に入力する。効果が
付与された楽音信号，音声信号はＤ／Ａコンバータ２１
でアナログ信号に変換されたのちアンプ・スピーカ２２
に出力される。アンプ・スピーカ２２はこの信号を増幅
したのち放音する。

【００２６】音声変換用ＤＳＰ３０には歌唱用のマイク
２７から入力された歌唱の音声信号がプリアンプ２８，
Ａ／Ｄコンバータ２９を介して入力される。ＤＳＰ３０
はこの音声信号の母音をオリジナル歌手等の他者が発声
する母音波形に変換して効果用ＤＳＰ２０に出力する。

【００２７】また、文字表示部２３は入力される文字デ
ータに基づいて、曲名や歌詞などの文字パターンを生成
する。また、ＬＤチェンジャ２４は入力された映像選択
データ（チャプタナンバ）に基づき、対応するＬＤの背
景映像を再生する。映像選択データは当該カラオケ曲の
ジャンルデータなどに基づいて決定される。カラオケ演
奏スタート時、ＣＰＵ１０は楽曲データのヘッダから曲
のジャンルデータを読み取る。ＣＰＵ１０はジャンルデ
ータと背景映像の内容などに基づいてどの背景映像を再
生するかを決定し、映像選択データをＬＤチェンジャ２
４に出力する。ＬＤチェンジャ２４には、５枚（１２０
シーン）程度のレーザディスクが内蔵されており１２０
シーンの背景映像を再生することができる。映像選択デ
ータによってこのなかから１つの背景映像が選択され、
映像データとして出力される。文字パターン，映像デー
タは表示制御部２５に入力される。表示制御部２５では
これらのデータをスーパーインポーズで合成してモニタ
２６に表示する。

【００２８】図２は前記音声変換用ＤＳＰ３０の構成を
示す図である。ＨＤＤ１７からロードされる音素トラッ
クのデータは音素データレジスタ４８および音素ポイン
タ生成部４６に入力される。音素データトラックのデー
タのうち音素データｓ１，ｓ２，‥‥はその配列順に音
素データレジスタ４８に入力され、デュレーションデー
タｅ１，ｅ２，‥‥は音素ポインタ生成部４６に入力さ
れる。カラオケの自動演奏が開始されると音素ポインタ
生成部４６には曲の進行を制御するビート情報が入力さ
れる。音素ポインタ生成部４６はこのビート情報に基づ
いてデュレーションデータをカウントしてゆき、今どの
音素（歌詞の音節）が歌われるべきかを判断して、その
音素データを指すポインタ（その音素データが記憶され
ているレジスタナンバ）を生成する。このポインタは音
素ポインタレジスタ４７に記憶される。後述の母音信号
形成部４２が音素レジスタ４８をアクセスしたとき、音
素ポインタが指示しているレジスタの音素データが読み
出されることになる。

【００２９】一方、歌唱用マイク２７−プリアンプ２８
−Ａ／Ｄコンバータ２９を介して入力されたディジタル
の歌唱音声信号は子音分離部４０に入力される。子音分
離部４０はこのディジタル歌唱音声信号を分析して子音
部と母音部とに分離し、子音部をディレイ４４に入力
し、母音部をピッチ・レベル検出部４１に入力する。子
音と母音の分離は、たとえば基本周波数の高低や波形形
状などで区別すればよい。ピッチ・レベル検出部４１
は、入力された母音部からそのピッチ（周波数）および
レベルを検出する。この検出はリアルタイムに行われ、
検出されたピッチおよびレベルの刻々の変化がそのまま
母音信号形成部４２およびエンベロープ付与部４３に入
力される。母音信号形成部４２は、曲の進行に一致した
（音素ポインタが指示する）音素データを音素データレ
ジスタ４８から入力しており、この音素データに基づく
母音信号をピッチ・レベル検出部４１から入力されたピ
ッチで形成する。母音信号形成部４２が形成した母音信
号はエンベロープ付与部４３にに入力される。エンベロ
ープ付与部４３には上述の母音部のレベル情報がリアル
タイムに入力されており、母音信号形成部４２から入力
された母音信号のレベルがこのレベル情報に応じて制御
される。レベル情報によりエンベロープが付加された母
音信号は加算器４５に入力される。

【００３０】一方、子音分離部４０からディレイ４４に
入力された信号部の信号は、母音部のピッチ・レベル検
出部４１−母音信号形成部４２−エンベロープ付与部４
３による処理時間だけ遅延されたのち加算器４５に入力
される。加算器４５は、歌唱者の歌唱音声信号から分離
された子音部と、歌唱者の母音部から抽出された母音情
報（ピッチ情報，レベル情報）に基づいて形成されたお
よびオリジナル歌手の母音信号とを連結合成する。これ
により、子音，ピッチ情報およびレベル情報によって歌
唱者の歌唱の特徴を維持し、且つ、母音によってオリジ
ナル歌手の音色を備えた歌唱音声信号が形成される。こ
の歌唱音声信号が効果用ＤＳＰ２０に出力される。

【００３１】音声変換ＤＳＰ３０の以上のような動作に
より、歌唱者の歌い方が子音によってそのまま維持さ
れ、且つ、オリジナル歌手ような声で歌うことができ
る。

【００３２】なお、エンベロープ付与部４３は、歌唱音
声信号の母音部のレベルに基づいて母音信号のレベルを
制御しているが、予め決定されたエンベロープを付与す
るようにしてもよい。

【００３３】なお、この実施例では、再生する曲の歌唱
から抽出した母音を音素データとして記憶したが、音素
データとしてはこれに限定されない。すなわち、一般的
な５０音の発音等を記憶しておき、歌唱者の歌唱音声を
音声認識して、対応する音素を割り出して母音合成する
ようにしてもよい。

【００３４】以上のようにこの発明によれば、歌唱者の
歌唱音声の特徴を表す母音をオリジナル歌手等の特定人
の母音波形に置き換えた音声を合成出力することによ
り、歌唱者の歌唱によってオリジナル歌手の音声を出力
することができ、あたかもオリジナル歌手が歌っている
かのようなカラオケを楽しむことが可能になる。

【００３５】また、歌唱者の子音とオリジナル歌手（特
定人）の母音とを合成して歌唱音声信号を再構成するこ
とにより、歌唱者の歌い方をそのまま維持することがで
き、あたかも歌唱者の音色がオリジナル歌手の音色にな
ったような効果をだすことができる。

【図面の簡単な説明】

【図１】この発明の実施例である音声変換カラオケ装置
のブロック図

【図２】同音声変換カラオケ装置の音声変換用ＤＳＰの
構成を示す図

【図３】同音声変換カラオケ装置に用いられる楽曲デー
タの構成を示す図

【図４】同音声変換カラオケ装置に用いられる楽曲デー
タの構成を示す図

【図５】同音声変換カラオケ装置に用いられる楽曲デー
タの構成を示す図

【図６】同楽曲データに含まれる音素データの構成を示
す図

【符号の説明】

３０−音声変換用ＤＳＰ、４０−子音分離部、４１−ピ
ッチ・レベル検出部 ４２−母音信号形成部、４３−エンベロープ付与部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平４−147300（ＪＰ，Ａ) 特開 昭63−63100（ＪＰ，Ａ) 特開 平３−29999（ＪＰ，Ａ) 特開 平５−40499（ＪＰ，Ａ) 特開 昭63−231495（ＪＰ，Ａ) 特開 平１−93796（ＪＰ，Ａ) 特開 昭59−82608（ＪＰ，Ａ) 特開 平５−257494（ＪＰ，Ａ) 特開 平１−97997（ＪＰ，Ａ) 実開 平４−107298（ＪＰ，Ｕ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G10L 5/04 G10K 15/04 302 G10L 3/00

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 少なくとも楽音情報と楽音情報の進行に
   対応した波形データを記憶する記憶手段と、楽音情報を再生する音源手段と、 カラオケ歌唱者の歌唱音声を入力する入力手段と、歌唱音声を母音と子音に分離する分離手段と、 楽音情報の進行に伴って波形データを読み出し、この波
   形データから母音波形を合成する母音合成手段と、 子音と母音波形を連接して出力する連接合成手段と を有
   する カラオケ装置。
2. 【請求項２】 少なくとも楽音情報と楽音情報の進行に
   対応した波形データを記憶する記憶手段と、楽音情報を再生する音源手段と、 カラオケ歌唱者の歌唱音声を入力する入力手段と、歌 唱音声を母音と子音に分離する分離手段と、母 音からピッチ情報とレベル情報を検出する検出手段
   と、楽音情報の進行に伴って波形データを読み出し、 ピッチ
   情報、レベル情報および読み出した波形データに基づい
   て母音波形を合成する母音合成手段と、子音と母音波形を連接して出力する連接 合成手段とを有
   するカラオケ装置。
3. 【請求項３】 記憶手段は、楽音情報の進行に対応した
   歌詞情報を記憶する請求項１または請求項２に記載のカ
   ラオケ装置。