JP3901008B2

JP3901008B2 - 音声変換機能付カラオケ装置

Info

Publication number: JP3901008B2
Application number: JP2002131947A
Authority: JP
Inventors: 秀一松本
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2002-05-07
Filing date: 2002-05-07
Publication date: 2007-04-04
Anticipated expiration: 2022-04-04
Also published as: JP2002372981A

Description

【０００１】
【産業上の利用分野】
この発明は、カラオケの歌唱者の音声を、オリジナル歌手の音声に変換して出力することのできる音声変換機能付カラオケ装置に関する。
【０００２】
【従来の技術】
カラオケ装置において、歌唱を楽しくするため、または、歌唱を上手く聞かせるために歌唱音声を種々に加工することのできるカラオケ装置が提案されている。たとえば、歌唱音声の質を大きく変えて変わった／面白い声にする装置や、歌唱音声のピッチをたとえば３度高くしてハーモニ音声を発生するカラオケ装置が提案されている。
【０００３】
【発明が解決しようとする課題】
一方、カラオケ歌唱者の欲求としては、その曲を歌っているプロ歌手（オリジナル歌手）の声で歌いたいという欲求がある。しかし、従来の装置では、歌唱者の音声をオリジナル歌手の音色に変換することはできなかった。
【０００４】
この発明は、歌唱者がオリジナル歌手の声でカラオケを歌うことができる音声変換機能付カラオケ装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
請求項１の発明は、楽音情報と楽音情報の進行に対応した特定歌唱音声を記憶する記憶手段と、楽音情報を再生する音源手段と、カラオケ歌唱者の歌唱音声を入力する入力手段と、歌唱音声から音量を検出する音量検出手段と、楽音情報の進行に伴って特定歌唱音声を再生し、音量検出手段が検出した音量に近づくように該特定歌唱音声の音量を制御して出力する音声変換手段と、を備えたことを特徴とする。
【０００６】
請求項２の発明は、請求項１の発明において、音声変換手段は、特定歌唱音声の音量を、前記歌唱音声の音量と前記特定歌唱音声の音量との差分音量に修正係数を乗じた分だけ修正する手段であることを特徴とする。
【０００７】
請求項３の発明は、請求項１、２の発明において、音声変換手段が検出する前記歌唱音声の音量と前記特定歌唱音声の音量との差分音量を用いて歌唱を採点する採点手段を備えたことを特徴とする。
【０００８】
請求項４の発明は、楽音情報と楽音情報の進行に対応した特定歌唱音声を記憶する記憶手段と、楽音情報を再生する音源手段と、カラオケ歌唱者の歌唱音声を入力する入力手段と、歌唱音声から周波数を検出する周波数検出手段と、楽音情報の進行に伴って特定歌唱音声を再生し、周波数検出手段が検出した周波数に近づくように該特定歌唱音声の周波数を制御して出力する音声変換手段と、を備えたことを特徴とする。
【０００９】
請求項５の発明は、請求項４の発明において、音声変換手段は、特定歌唱音声の周波数を、前記歌唱音声の周波数と前記特定歌唱音声の周波数との差分周波数に修正係数を乗じた分だけ修正する手段であることを特徴とする。
【００１０】
請求項６の発明は、請求項４、５の発明において、音声変換手段が検出する前記歌唱音声の周波数と前記特定歌唱音声の周波数との差分周波数を用いて歌唱を採点する採点手段を備えたことを特徴とする。
【００１３】
この発明の音声変換機能付カラオケ装置では、記憶手段にカラオケ曲を演奏する楽音情報とともに、この楽音情報に進行に対応した特定歌唱音声情報を記憶している。カラオケ曲の演奏は楽音情報に基づいて行われるが、これに並行してこの特定歌唱音声情報の読み出しも行われる。カラオケ曲の演奏中には、マイク等を介してカラオケ歌唱者の歌唱音声信号（カラオケ歌唱音声信号）が入力される。カラオケ歌唱信号が入力されると、このカラオケ歌唱音声信号から少なくとも音量または周波数の情報を抽出し、カラオケ演奏と並行して読み出されている特定歌唱情報で特定歌唱音声を再生し、この音量または周波数を、この抽出された音量または周波数の情報を用いて修正し、あたかもカラオケ歌唱音声のように出力する。これにより、実際には前記オリジナル歌手等の特定人の歌唱音声であるが、カラオケ歌唱者の歌唱によってそれがコントロールされ、あたかもカラオケ歌唱者が特定人となって歌っているかのようなカラオケ歌唱音声の出力を得ることができる。
【００１４】
【発明の実施の形態】
図面を参照してこの発明の実施形態である音声変換機能を備えたカラオケ装置について説明する。この実施形態のカラオケ装置は、いわゆる音源カラオケ装置である。音源カラオケ装置とは、楽曲データで音源装置を駆動することによりカラオケ演奏音を発生するものである。また、このカラオケ装置は通信型カラオケ装置であり、通信回線を介してホストステーションと接続され、楽曲データをホストステーションからダウンロードしてハードディスク装置１７（図１参照）に蓄える。ハードディスク装置１７は、楽曲データを数百〜数千曲分記憶することができる。また、音声変換機能とは、マイク２７から入力されるカラオケ歌唱者の歌唱音声信号をそのまま出力せず、カラオケ演奏に並行して読み出されるオリジナル歌手の歌唱音声信号をこのカラオケ歌唱音声信号で制御し、制御されたオリジナル歌唱音声信号をあたかもカラオケ歌唱音声信号かのように出力する機能であり、そのためオリジナル歌手の歌唱信号データが前記楽曲データの一部として、ハードディスク装置１７に記憶されている。
【００１５】
まず、図３〜図４を参照して同カラオケ装置のＨＤＤ１７に記憶される楽曲データの構成について説明する。図３は楽曲データの構成を示す図である。また、図４は楽音トラックの詳細な構成を示す図である。
【００１６】
図３において、１つの楽曲データは、ヘッダ，楽音トラック，歌詞トラック，音声トラック，ＤＳＰコントロールトラック，音声データ部およびオリジナル歌唱データ部からなっている。ヘッダは、この楽曲データに関する種々のデータが書き込まれる部分であり、曲名，ジャンル，発売日，曲の演奏時間（長さ）などのデータが書き込まれている。ＣＰＵ１０（図１参照：以下同様）は、シーケンスプログラムの実行時にジャンルデータに基づいてモニタ２６に表示する背景映像を決定し、ＬＤチェンジャ２４に対してその映像のチャプタナンバを送信する。背景映像の決定方式は、冬をテーマにした演歌の場合には雪国の映像を選択し、ポップスの場合には外国の映像を選択するなどである。
【００１７】
図４において、楽音トラックには、メロディトラック，リズムトラックを初めとして種々のパートのトラックが形成されている。これら複数のパートを並行して演奏することによってオーケストラやフルバンドなどの演奏音を出力することができる。各トラックは、音源装置１８に対して発音や消音などを指示するイベントデータと、各イベントデータ間の時間間隔を示すデュレーションデータΔｔを時系列に配置したシーケンスデータからなっている。ＣＰＵ１０は、シーケンスプログラムの実行により以下の動作を実行する。各トラックのデュレーションデータΔｔを同一クロックに基づいて別々にカウントし、デュレーションデータΔｔをカウントアップしたトラックについて、そのトラックの次のイベントデータを読み出して音源装置１８に出力する。そのとき、そのイベントデータの送り先となる発音チャンネルを指定する。この動作を繰り返す。音源装置１８はチャンネル指定データに基づいて発音チャンネルをアサインし、その発音チャンネルでそのイベントを実行する。
【００１８】
また、歌詞トラック，音声トラック，ＤＳＰコントロールトラックは、楽音データではないが、インプリメンテーションの統一をとり、作業工程を容易にするためＭＩＤＩデータ形式で記述され、上記楽音トラックと同様にイベントデータとデュレーションデータからなっている。イベントデータは、システム・エクスクルーシブ・メッセージの形式で記述されている。
【００１９】
歌詞トラックのイベントデータは、モニタ２６に表示する歌詞の文字データ（文字コードおよびその文字の表示座標）、この歌詞の表示時間（通常は３０秒前後）、および、ワイプシーケンスデータからなっている。このうち、ワイプシーケンスデータは、曲の進行に合わせて歌詞の表示色を変更してゆくためのシーケンスデータであり、表示色を変更するタイミング（この歌詞が表示されてからの時間）と変更位置（座標）を１行分の長さにわたって順次記録している。
【００２０】
音声トラックのイベントデータは、音声指定データ，音程データ，音量データからなっている。音声指定データは、音声データ部に記憶されている複数の音声データｎ（ｎ＝１，２，３，‥‥）のうち、１つを指定するデータである。音程データ，音量データは、その音声データをどの音程でどれだけの音量で再生するかを指定するデータである。音声データ部には、音源装置１９で合成しにくいバックコーラスやハーモニー歌唱などの人声が記憶されており、このうち、言葉を伴わない「アー」や「ワワワワッ」などのバックコーラスは、音程や音量を変化させれば何度も利用できるため、基本的な音程，音量で１つ記憶しておき、このデータに基づいて音程や音量をシフトして繰り返し使用する。音声データ処理部１９は音量データに基づいて出力レベルを設定し、音程データに基づいて音声データの読出間隔を変えることによって音声信号の音程を設定する。
【００２１】
ＤＳＰコンロールトラックのイベントデータは、音源装置１８および音声データ処理部１９の後段に接続されている効果用ＤＳＰ２０を制御するためのＤＳＰコントロールデータである。効果用ＤＳＰ２０は主として楽音にリバーブなどの残響系の効果を付与するためのものであり、ＤＳＰコントロールデータは、これらの効果の種類とその程度を指示するデータからなっている。
【００２２】
一方、オリジナル歌唱データは、このカラオケ曲のオリジナル歌手による歌唱をＡＤＰＣＭ化して記憶したものであり、上記楽曲トラック等の読み出しに並行してＣＰＵ１０によって読み出され、音声変換用ＤＳＰ３０に入力される。
【００２３】
図１は同音声変換機能を備えたカラオケ装置のブロック図である。装置全体の動作を制御するＣＰＵ１０には、バスを介してＲＯＭ１１，ＲＡＭ１２，ハードディスク記憶装置（ＨＤＤ）１７，ＩＳＤＮコントローラ１６，リモコン受信機１３，表示パネル１４，パネルスイッチ１５，音源装置１８，音声データ処理部１９，効果用ＤＳＰ２０，文字表示部２３，ＬＤチェンジャ２４，表示制御部２５および音声変換用ＤＳＰ３０が接続されている。
【００２４】
ＲＯＭ１１には、システムプログラム，アプリケーションプログラム，ローダおよびフォントデータが記憶されている。システムプログラムは、この装置の基本動作や周辺機器とのデータ送受を制御するプログラムである。アプリケーションプログラムは周辺機器制御プログラム，シーケンスプログラムなどである。
【００２５】
シーケンスプログラムは、カラオケ演奏時に実行されるプログラムであり、上記各トラックのデュレーションデータをカウントして所定タイミングにイベントデータを読み出し、所定の動作部にそのデータを出力する動作や、このカラオケ曲の進行に応じてオリジナル歌唱データを読み出して音声変換用ＤＳＰ３０に入力する動作等を含んでいる。なお、カラオケ曲のキー（調性）の変更は、パネルスイッチ１５のキーチェンジスイッチの操作に応じて楽音トラックのイベントデータの音高データを書き換えることによって行われる。
【００２６】
ローダは、ホストステーションから楽曲データをダウンロードするためのプログラムである。フォントデータは、歌詞や曲名などを表示するためのものであり、明朝体やゴジック体などの複数種類の文字種のフォントが記憶されている。また、ＲＡＭ１２には、ワークエリアが設定される。ＨＤＤ１７には楽曲データファイルが設定される。
【００２７】
ＩＳＤＮコントローラ１６は、ＩＳＤＮ回線を介してホストステーションと交信するためのコントローラである。ホストステーションからは楽曲データなどがダウンロードされる。ＩＳＤＮコントローラ１６はＤＭＡ回路を内蔵しており、ダウンロードされた楽曲データやアプリケーションプログラムをＣＰＵ１０を介さずに直接ＨＤＤ１７に書き込む。
【００２８】
リモコン受信機１３はリモコン３１から送られてくる赤外線信号を受信してデータを復元する。リモコン３１は選曲スイッチなどのコマンドスイッチやテンキースイッチなどを備えており、利用者がこれらのスイッチを操作するとその操作に応じたコードで変調された赤外線信号を送信する。表示パネル１４はこのカラオケ装置の前面に設けられており、現在演奏中の曲コードや予約曲数などを表示するものである。パネルスイッチ１５はカラオケ装置の前面操作部に設けられており、曲コード入力スイッチやキーチェンジスイッチなどを含んでいる。
【００２９】
音源装置１８は、ＣＰＵ１０から入力される楽音データに基づいて楽音信号を形成する。音声データ処理部１９は、音声データに基づき、指定された長さ，指定された音高の音声信号を形成する。音声データは、バックコーラスや模範歌唱音などの音源装置１８で電子的に発生しにくい信号波形をそのままＡＤＰＣＭ化して記憶したものであり、楽曲データの音声データ部に記憶されている。音源装置１８が形成した楽音信号、音声データ処理部１９が形成した音声信号および音声変換用ＤＳＰ３０から入力される歌唱音声信号は効果用ＤＳＰ２０に入力される。効果用ＤＳＰ２０は、これら入力された音声信号や楽音信号に対してリバーブやエコーなどの効果を付与する。効果用ＤＳＰ２０が付与する効果の種類や程度は、楽曲データに含まれているＤＳＰコントロールデータに基づいて制御される。ＤＳＰコントロールデータはＤＳＰコントロール用シーケンスプログラムに基づき、ＣＰＵ１０が所定のタイミングに効果用ＤＳＰ２０に入力する。効果が付与された楽音信号，音声信号はＤ／Ａコンバータ２１でアナログ信号に変換されたのちアンプ・スピーカ２２に出力される。アンプ・スピーカ２２はこの信号を増幅したのち放音する。
【００３０】
一方、音声変換用ＤＳＰ３０にはから入力された歌唱の音声信号が歌唱用マイク２７−プリアンプ２８−Ａ／Ｄコンバータ２９を介してカラオケ歌唱音声信号が入力されるとともに、これに並行してＣＰＵ１０からオリジナル歌唱音声信号が入力される。音声変換用ＤＳＰ３０はカラオケ歌唱音声信号の周波数情報および音量情報に基づいてオリジナル歌唱音声信号の周波数および音量を修正し、これをカラオケ歌唱音声信号として効果用ＤＳＰ２０に出力する。
【００３１】
また、文字表示部２３は入力される文字データに基づいて、曲名や歌詞などの文字パターンを生成する。また、ＬＤチェンジャ２４は入力された映像選択データ（チャプタナンバ）に基づき、対応するＬＤの背景映像を再生する。映像選択データは当該カラオケ曲のジャンルデータなどに基づいて決定される。カラオケ演奏スタート時、ＣＰＵ１０は楽曲データのヘッダから曲のジャンルデータを読み取る。ＣＰＵ１０はジャンルデータと背景映像の内容などに基づいてどの背景映像を再生するかを決定し、映像選択データをＬＤチェンジャ２４に出力する。ＬＤチェンジャ２４には、５枚（１２０シーン）程度のレーザディスクが内蔵されており１２０シーンの背景映像を再生することができる。映像選択データによってこのなかから１つの背景映像が選択され、映像データとして出力される。文字パターン，映像データは表示制御部２５に入力される。表示制御部２５ではこれらのデータをスーパーインポーズで合成してモニタ２６に表示する。
【００３２】
図２は音声変換用ＤＳＰの構成を示す図である。音声変換用ＤＳＰ３０は、カラオケ演奏中に、Ａ／Ｄコンバータ２９からカラオケ歌唱者の歌唱音声信号を入力するとともに、ＣＰＵ１０の制御によってオリジナル歌唱音声信号を入力し、カラオケ歌唱音声信号でオリジナル歌唱音声信号を修正して、これを効果用ＤＳＰ２０に対して出力する装置である。オリジナル歌唱音声信号はオリジナル歌唱分析部４０に入力される。オリジナル歌唱分析部４０は、入力されたオリジナル歌唱音声信号の周波数および音量を分析し、周波数情報および音量情報を出力する。また、カラオケ歌唱音声信号はカラオケ歌唱分析部４１に入力される。カラオケ歌唱分析部４１は、このカラオケ歌唱音声信号の周波数および音量を分析し、周波数情報および音量情報を出力する。それぞれの周波数情報および音量情報は減算部４２，４３で減算され、その差分が算出される。この差分データがオリジナル歌唱音声信号の周波数（ピッチ）および音量を修正するためのデータとして用いられる。
【００３３】
周波数情報の差分データは加算器４６に入力される。加算器４６には、場合に応じて±１オクターブ分の周波数値が入力される。これは、男性曲を女性が歌う場合や女性曲を男性が歌う場合等オリジナル歌唱とカラオケ歌唱者の歌唱とに１オクターブの差がある場合に、前記差分データにこれを加減算して修正対象から外すためであり、男性曲を女性が歌う場合には−１オクターブの周波数値が入力され、女性曲を男性が歌う場合には＋１オクターブの周波数値が入力される。これにより、男性曲を女性が歌っても男性のオクターブで声が出力され、女性曲を男性が歌っても女性のオクターブで声が出力されることになる。加算器４６から出力された差分データは乗算器４８に入力される。乗算器４８では、差分データに対して修正係数が乗算される。修正係数は修正係数発生部５０が発生する数値であり、リモコン３１等で設定可能な０と１の間の値である。すなわち、オリジナル歌唱音声信号をカラオケ歌唱音声信号に対して完全に修正してしまうのではなく、幾分オリジナル歌唱音声信号の周波数，音量を残しておくためにこの修正係数が乗じられる。修正係数が乗算された差分データがピッチ修正データとしてピッチ修正部４４に入力される。ピッチ修正部４４では、入力されたピッチ修正データに基づいてオリジナル歌唱音声信号のピッチ（周波数）を修正する。修正されたオリジナル歌唱音声信号は音量修正部４５に入力される。
【００３４】
一方、音量の差分データは乗算器４９に入力される。乗算器４９では、差分データに対して修正係数が乗算される。修正係数は上記と同じように修正係数発生部５０が発生する０〜１の数値である。上記乗算器４８に入力される修正係数と同様に修正の度合いを決定するための数値であるが、両者は同じ値のものであっても異なる値のものであってもよい。修正係数が乗算された差分データが音量修正データとして音量修正部４５に入力される。音量修正部４５では、音量修正データがオリジナル歌唱音声信号に対して乗算される。この歌唱音声信号が効果用ＤＳＰ２０に対して出力される。
【００３５】
さらに、周波数および音量の差分データは、採点部５１に入力される。採点部５１は、これらの差分データを積算してゆき、カラオケ曲が終了した時点の積算値に基づいてそのカラオケ歌唱の採点を行う。この採点結果は、採点結果表示器３３（図１参照）に表示される。
【００３６】
音声変換ＤＳＰ３０の以上のような動作により、カラオケ歌唱者の歌唱によってオリジナル歌唱をコントロールし、このコントロールされたオリジナル歌唱をカラオケ歌唱として出力することができるため、カラオケ歌唱者がさもオリジナル歌唱者の声で歌っているようなカラオケ出力を得ることができる。
【００３７】
なお、この実施形態では、オリジナル歌唱データを１６ｂｉｔ，４４．１ｋＨｚのディジタルデータでＰＣＭ化して全て記憶したが、記憶のしかたはこれに限定されない。すなわち、再生する曲の歌唱から抽出した子音・母音を音素データとして記憶し、カラオケ歌唱者の歌唱進行に応じて、これを読み出してオリジナル歌唱音声を合成するようにしてもよい。この場合には、カラオケ歌唱者の歌唱テンポが多少ずれてもこれに応じてオリジナル歌唱のテンポを合わせることができる。
【００３８】
【発明の効果】
以上のようにこの発明によれば、カラオケ歌唱者の歌唱音声信号から抽出したデータに基づいてオリジナル歌唱音声信号の周波数または音量を調節し、この調節されたオリジナル歌唱音声信号をカラオケの歌唱音声として出力するようにしたことにより、歌唱者の歌唱によってオリジナル歌手の歌声を出力することができ、あたかもオリジナル歌手が歌っているかのようなカラオケを楽しむことが可能になる。
【図面の簡単な説明】
【図１】この発明の実施形態である音声変換カラオケ装置のブロック図
【図２】同音声変換カラオケ装置の音声変換用ＤＳＰの構成を示す図
【図３】同音声変換カラオケ装置に用いられる楽曲データの構成を示す図
【図４】同音声変換カラオケ装置に用いられる楽曲データの構成を示す図
【符号の説明】
３０−音声変換用ＤＳＰ、４０−オリジナル歌唱分析部、
４１−カラオケ歌唱分析部、４４−ピッチ変換部、４５−音量変換部

Claims

楽音情報と楽音情報の進行に対応した特定歌唱音声を記憶する記憶手段と、
楽音情報を再生する音源手段と、
カラオケ歌唱者の歌唱音声を入力する入力手段と、
歌唱音声から音量を検出する音量検出手段と、
楽音情報の進行に伴って特定歌唱音声を再生し、音量検出手段が検出した音量に近づくように該特定歌唱音声の音量を制御して出力する音声変換手段と、
を備えた音声変換機能付カラオケ装置。
音声変換手段は、特定歌唱音声の音量を、前記歌唱音声の音量と前記特定歌唱音声の音量との差分音量に修正係数を乗じた分だけ修正する手段である請求項１に記載の音声変換機能付カラオケ装置。
音声変換手段が検出する前記歌唱音声の音量と前記特定歌唱音声の音量との差分音量を用いて歌唱を採点する採点手段を備えた請求項１または請求項２に記載の音声変換機能付カラオケ装置。
楽音情報と楽音情報の進行に対応した特定歌唱音声を記憶する記憶手段と、
楽音情報を再生する音源手段と、
カラオケ歌唱者の歌唱音声を入力する入力手段と、
歌唱音声から周波数を検出する周波数検出手段と、
楽音情報の進行に伴って特定歌唱音声を再生し、周波数検出手段が検出した周波数に近づくように該特定歌唱音声の周波数を制御して出力する音声変換手段と、
を備えた音声変換機能付カラオケ装置。
音声変換手段は、特定歌唱音声の周波数を、前記歌唱音声の周波数と前記特定歌唱音声の周波数との差分周波数に修正係数を乗じた分だけ修正する手段である請求項４に記載の音声変換機能付カラオケ装置。
音声変換手段が検出する前記歌唱音声の周波数と前記特定歌唱音声の周波数との差分周波数を用いて歌唱を採点する採点手段を備えた請求項４または請求項５に記載の音声変換機能付カラオケ装置。