JPH10105169A - ハーモニーデータ生成装置およびカラオケ装置 - Google Patents

Abstract

(57)【要約】 【課題】カラオケ装置において、ハーモニーデータを含
まない楽曲データを演奏する場合でもハーモニー音声信
号を発生することができるようにする。 【解決手段】 楽曲データのカラオケ演奏用データやガ
イドメロディデータから４分音符以上の長さの音符を抽
出し、その音名（Ｃ〜Ｂ）の出現度数の分布を集計す
る。この度数分布と長調判定スケールおよび短調判定ス
ケールとを比較し、最も分布形状が一致するところを主
音（音階音）とする調であると判定し、この調判定結果
とガイドメロディデータとに基づいてハーモニーデータ
を生成し、このハーモニーデータに基づいてハーモニー
音声信号を形成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、曲の旋律に対するハ
ーモニーパートを生成するハーモニーデータ生成装置、
および、該ハーモニーデータを用いてハーモニー音声信
号を自動形成するカラオケ装置に関する。

【０００２】

【従来の技術】現在実用化されているカラオケ装置で
は、カラオケ歌唱を上手く聞かせ、歌唱を盛り上げるた
めに歌唱者の歌唱音声信号にハーモニー（たとえば、旋
律に対して３度または５度の旋律）の音声信号を付加し
て出力する機能を備えたものがある。

【０００３】

【発明が解決しようとする課題】しかし、従来のカラオ
ケ装置は、楽曲データにハーモニー音声信号を形成する
ためのデータであるハーモニーデータが含まれる場合の
み、このデータに基づいてハーモニー音声信号を形成す
ることができた。したがって、ハーモニーデータを含ま
ない楽曲データを演奏する場合にはハーモニー音声信号
を形成できず、歌唱を盛り上げることができないという
欠点があった。

【０００４】この発明は、カラオケ曲を演奏するための
楽曲データ中に歌唱メロディに対するハーモニーデータ
がない場合でも他のデータを用いて的確なハーモニーデ
ータを生成できるハーモニーデータ生成装置、および、
該ハーモニーデータを用いカラオケ演奏に並行してハー
モニー音声信号を自動形成して出力できるカラオケ装置
を提供することを目的とする。

【０００５】

【課題を解決するための手段】この出願の請求項１の発
明は、旋律データ，伴奏データを含む楽曲データを記憶
する記憶手段と、該楽曲データの音高分布に基づいて調
を検出する調検出手段と、該調検出手段が検出した調で
前記旋律データから所定度数上または下の音高のハーモ
ニーデータを生成するハーモニーデータ生成手段とを備
えたことを特徴とする。

【０００６】この出願の請求項２の発明は、カラオケ曲
の歌唱旋律データ，カラオケ演奏用データを含む楽曲デ
ータを記憶する記憶手段と、該楽曲データの音高分布に
基づいて調を検出する調検出手段と、前記カラオケ演奏
用データを読み出すことによってカラオケ曲の演奏を実
行するカラオケ演奏手段と、歌唱音声信号を入力する歌
唱入力手段と、該歌唱入力手段から入力された歌唱音声
信号を前記調検出手段が検出した調で前記歌唱旋律デー
タから所定度数上または下の音高の信号に変換して該変
換された信号を前記歌唱入力手段から入力された歌唱音
声信号とともに出力するハーモニー信号形成手段とを備
えたことを特徴とする。

【０００７】カラオケ曲などの一般の曲ははっきりした
調性を有する曲ばかりである。調性を有する曲の場合、
曲中における音高の出現度数はその調に応じて極めて偏
りがある。たとえば、主音や３度音，５度音など主要な
音高の音は極めて頻繁に出現し、音階音から外れた半音
の出現度数は概して低い。この発明は、このような一般
の曲の特徴に着目し、旋律データ，伴奏データにおける
各音高の出現度数を集計し、この出現度数の分布に基づ
いてこの曲の調を検出する。出現度数の集計は、音高の
オクターブ情報を捨象した１２音名毎に出現度数を集計
するようにしてもよい。また、全曲にわたってまとめて
集計するのではなく、複数の部分に分割して集計し、各
部分毎に調を検出するようにしてもよい。このようにす
ることにより、曲中の転調を検出することができる。調
が検出されれば、旋律データからこの調の音階に合った
適当な音程のハーモニーデータを生成することができ
る。また、請求項２のカラオケ装置においては、ガイド
メロディデータなどの歌唱旋律データからハーモニーパ
ートのデータを生成し、歌唱者の歌唱に対してハーモニ
ーをつけることができる。また、上記調の検出を楽曲デ
ータのロード時に行えば、リアルタイムのハーモニー音
声信号の形成を、転調した場合を含めて、的確に行うこ
とができる。

【０００８】

【発明の実施の形態】図面を参照してこの発明の実施形
態であるカラオケ装置について説明する。このカラオケ
装置は、楽曲データで音源装置を駆動することによりカ
ラオケ演奏音を発生する音源カラオケ装置であり、ハー
モニー付加機能を備えている。楽曲データは音源装置な
どを駆動するためのカラオケ演奏用データのほかカラオ
ケ歌唱者が歌唱すべきメロディを表すガイドメロディデ
ータ（歌唱旋律データ）などで構成されている。また、
楽曲データのなかにはハーモニー音声信号を形成するた
めのハーモニーデータ（ハーモニートラック）を含むも
のもある。ここでハーモニー音声信号とは、歌唱旋律に
対して３度や５度の音程で進行するハーモニーパートの
音声信号である。楽曲データは、ハードディスク装置１
７に約１万曲が記憶されている。ここで、ハーモニー付
加機能とは、カラオケ曲の演奏に合わせて歌唱者の歌唱
音声信号に前記ハーモニー音声信号を付加する機能であ
り、演奏される楽曲データが前記ハーモニーデータを含
む場合には、該データを読み出すことによってハーモニ
ー音声信号を形成し、ハーモニーデータを含まない場合
には前記カラオケ演奏用データおよびガイドメロディデ
ータに基づいてハーモニーデータを生成し、これに基づ
いてハーモニー音声信号を形成する。

【０００９】図１は同カラオケ装置のブロック図であ
る。装置全体の動作を制御するＣＰＵ１０には、バスを
介してＲＯＭ１１，ＲＡＭ１２，ハードディスク記憶装
置（ＨＤＤ）１７，通信制御部１６，リモコン受信部１
３，表示パネル１４，パネルスイッチ１５，音源装置１
８，音声データ処理部１９，効果用ＤＳＰ２０，文字表
示部２３，ＬＤチェンジャ２４，表示制御部２５および
音声処理用ＤＳＰ３０が接続されている。

【００１０】ＲＯＭ１１には、システムプログラム，ア
プリケーションプログラム，ローダおよびフォントデー
タが記憶されている。システムプログラムは、この装置
の基本動作や周辺機器とのデータ送受を制御するプログ
ラムである。アプリケーションプログラムは周辺機器制
御プログラム，シーケンスプログラムなどである。カラ
オケ演奏時にはシーケンスプログラムがＣＰＵ１０によ
って実行され、楽曲データに基づいた楽音の発生，映像
の再生が行われる。ローダは、ホストステーションから
楽曲データをダウンロードするためのプログラムであ
る。フォントデータは、歌詞や曲名などを表示するため
のものであり、明朝体やゴジック体などの複数種類の文
字種のフォントが記憶されている。また、ＨＤＤ１７に
は楽曲データファイルが設定され、約１万曲の楽曲デー
タを記憶している。ＲＡＭ１２には、歌唱者によって選
曲されたカラオケ曲の楽曲データをＨＤＤ１７から読み
出すための実行データ記憶エリア１２ａが設定される。
通信制御部１６は、ＩＳＤＮ回線を介してホストステー
ションと交信し、ホストステーションから楽曲データな
どをダウンロードする。ダウンロードされた楽曲データ
などはＨＤＤ１７に書き込まれる。

【００１１】リモコン受信部１３はリモコン３１から送
られてくる赤外線信号を受信してデータを復元する。リ
モコン３１は選曲スイッチなどのコマンドスイッチやテ
ンキースイッチなどを備えており、利用者がこれらのス
イッチを操作するとその操作に応じたコードで変調され
た赤外線信号を送信する。表示パネル１４はこのカラオ
ケ装置の前面に設けられており、現在演奏中の曲コード
や予約曲数などを表示するものである。パネルスイッチ
１５はカラオケ装置の前面操作部に設けられており、曲
番号入力スイッチなどを含んでいる。

【００１２】音源装置１８は、ＣＰＵ１０から入力され
るデータに基づいて楽音信号を形成する。音源装置１８
は、複数の発音チャンネルを有しており、複数パートの
楽音を同時に形成することができる。音声データ処理部
１９は、楽曲データに含まれるＡＤＰＣＭデータである
音声データに基づき、指定された長さ，指定された音高
の音声信号を形成する。音声データは、バックコーラス
や模範歌唱音などの音源装置１８で電子的に発生しにく
い信号波形をそのままディジタル化して記憶したもので
ある。一方、歌唱用のマイク２７から入力された歌唱の
音声信号はプリアンプ２８で増幅されＡ／Ｄコンバータ
２９でディジタル信号に変換されたのち効果用ＤＳＰ２
０および音声処理用ＤＳＰ３０に入力される。音声処理
用ＤＳＰ３０には、このディジタル化された歌唱音声信
号のほか、ＣＰＵ１０からガイドメロディデータ，ハー
モニーデータが入力される。音声処理用ＤＳＰ３０はこ
れらのデータに基づいて歌唱者の歌唱音声信号から波形
要素データを切り出し、この波形要素データを合成して
ハーモニー音声信号を形成する。このハーモニー音声信
号は効果用ＤＳＰ２０に出力される。

【００１３】ここで、ハーモニーデータが楽曲データに
含まれている場合には、ＣＰＵ１０はこれを読み出して
音声処理用ＤＳＰ３０に入力する。楽曲データにハーモ
ニーデータが含まれていない場合には、ＣＰＵ１０はＨ
ＤＤ１７から実行データ記憶エリア１２ａにこの楽曲デ
ータを読み出すとき、この読み出しに並行してカラオケ
演奏音，ガイドメロディにおける各１２半音名（Ｃ〜
Ｂ）の出現度数（音高分布）を集計し、この出現度数の
分布に基づいてこの曲の調を検出する。そして、カラオ
ケ演奏を実行するとき、前記ガイドメロディデータと検
出された調に基づいてハーモニーデータを生成し、これ
を音声処理用ＤＳＰ３０に入力する。

【００１４】効果用ＤＳＰ２０には、音源装置１８が形
成した楽音信号、音声データ処理部１９が形成した音声
信号、Ａ／Ｄコンバータがディジタル変換した歌唱音声
信号および音声処理用ＤＳＰ３０が形成したハーモニー
音声信号が入力される。効果用ＤＳＰ２０は、これら入
力された音声信号や楽音信号に対してリバーブやエコー
などの効果を付与する。効果用ＤＳＰ２０が付与する効
果の種類や程度は、楽曲データの効果トラックのイベン
トデータ（ＤＳＰコントロールデータ）に基づいて制御
される。ＤＳＰコントロールデータはＤＳＰコントロー
ル用シーケンスプログラムに基づき、ＣＰＵ１０が所定
のタイミングに効果用ＤＳＰ２０に入力する。効果が付
与された楽音信号，音声信号はＤ／Ａコンバータ２１で
アナログ信号に変換されたのちアンプ・スピーカ２２に
出力される。アンプ・スピーカ２２はこの信号を増幅し
たのち放音する。

【００１５】文字表示部２３は入力される文字データに
基づいて、曲名や歌詞などの文字パターンを生成する。
また、ＬＤチェンジャ２４は入力された映像選択データ
（チャプタナンバ）に基づき、対応するＬＤの背景映像
を再生する。映像選択データは当該カラオケ曲のジャン
ルデータなどに基づいて決定される。ジャンルデータは
楽曲データのヘッダに書き込まれており、カラオケ演奏
スタート時にＣＰＵ１０によって読み出される。ＣＰＵ
１０はジャンルデータに基づいてどの背景映像を再生す
るかを決定し、その背景映像を指定する映像選択データ
をＬＤチェンジャ２４に対して出力する。ＬＤチェンジ
ャ２４には、５枚（１２０シーン）程度のレーザディス
クが内蔵されており約１２０シーンの背景映像を再生す
ることができる。映像選択データによってこのなかから
１つの背景映像が選択され、映像データとして出力され
る。文字パターン，映像データは表示制御部２５に入力
される。表示制御部２５ではこれらのデータをスーパー
インポーズで合成してモニタ２６に表示する。

【００１６】次に、図２を参照して同カラオケ装置で用
いられる楽曲データの構成について説明する。同図
（Ａ）は楽曲データの全体構成を示す図である。この図
では、ハーモニーデータを記録したハーモニートラック
を持たない楽曲データの例を示している。また、同図
（Ｂ）は、各トラックの構成例を示す図である。

【００１７】同図（Ａ）において、楽曲データは、ヘッ
ダ，楽音トラック，ガイドメロディトラック，歌詞トラ
ック，音声トラック，効果トラックおよび音声データ部
からなっている。

【００１８】ヘッダは、この楽曲データに関する種々の
データが書き込まれる部分であり、曲名，ジャンル，発
売日，曲の演奏時間（長さ），ハーモニーパートトラッ
クの有無などのデータが書き込まれている。ＣＰＵ１０
は、カラオケ演奏のスタート時に、この楽曲データをＨ
ＤＤ１７から実行データ記憶エリア１２ａに読み出す
が、このときヘッダを読み取ってハーモニートラックの
有無を判断する。ハーモニートラックを有する楽曲デー
タの場合は読み出しのみを行い、ハーモニートラックを
持たない楽曲データの場合は読み出しに並行して楽音ト
ラック，ガイドメロディトラックにおける各１２半音名
（Ｃ〜Ｂ）の出現度数（音高分布）を集計する。読み出
し終了ののち、この集計結果に基づいてこの曲の調を割
り出す。また、ＣＰＵ１０は、このヘッダに含まれるジ
ャンルデータに基づいてモニタ２６に表示する背景映像
を決定し、ＬＤチェンジャ２４に対してその映像のチャ
プタナンバを送信する。背景映像の決定方式は、冬をテ
ーマにした演歌の場合には雪国の映像を選択し、ポップ
スの場合には外国の映像を選択するなどである。

【００１９】各トラックは、同図（Ｂ）に示すように複
数のイベントデータと各イベントデータ間の時間間隔を
示すデュレーションデータΔｔからなるシーケンスデー
タで構成されている。各トラックのイベントデータはカ
ラオケ演奏中にシーケンスプログラムに基づきＣＰＵ１
０によって読み出される。シーケンスプログラムは、所
定のテンポクロックでΔｔをカウントし、Δｔのカウン
トを終了したときこのデュレーションデータΔｔに続く
イベントデータを読み出して所定の処理部へ出力するプ
ログラムである。

【００２０】楽音トラックは、複数音色の楽音を発音す
るため、複数パートのトラックを含んでいる。パートは
ピアノやフルートなどの音高の定まった楽音を発音する
ノーマル属性のパートと、音高の定まらないリズム音を
発音するためのリズム属性のパートに分類される。各楽
音の音符の長さは、当該音のノートオンイベントデータ
からノートオフイベントデータまでのデュレーションデ
ータΔｔの合計で表される。また、ガイドメロディトラ
ックには、このカラオケ曲の歌唱旋律であるガイドメロ
ディのシーケンスデータが書き込まれている。このデー
タはＣＰＵ１０から音声処理用ＤＳＰ３０に入力され
る。音声処理用ＤＳＰ３０はこのデータに基づいて歌唱
音声信号から波形要素データを切り出す。

【００２１】以下に説明する歌詞トラック，音声トラッ
ク，効果トラックのデータは、楽音データではないが、
インプリメンテーションの統一をとり、作業工程を容易
にするためこのトラックもＭＩＤＩデータ形式で記述さ
れている。データ種類は、システム・エクスクルーシブ
・メッセージである。

【００２２】歌詞トラックは、モニタ２６上に歌詞を表
示するためのシーケンスデータを記憶したトラックであ
る。歌詞トラックのデータ記述において、通常は１行の
歌詞を１つの歌詞表示データとして扱っている。歌詞表
示データは１行の歌詞の文字データ（文字コードおよび
その文字の表示座標）、この歌詞の表示時間（通常は３
０秒前後）、および、ワイプシーケンスデータからなっ
ている。ワイプシーケンスデータとは、曲の進行に合わ
せて歌詞の表示色を変更してゆくためのシーケンスデー
タであり、表示色を変更するタイミング（この歌詞が表
示されてからの時間）と変更位置（座標）が１行分の長
さにわたって順次記録されているデータである。

【００２３】音声トラックは、音声データ部に記憶され
ている音声データｎ（ｎ＝１，２，３，‥‥）の発生タ
イミングなどを指定するシーケンストラックである。音
声データ部には、音源装置１８で合成しにくいバックコ
ーラスやハーモニー歌唱などの人声が記憶されている。
音声トラックには、音声指定データと、音声指定データ
の読み出し間隔、すなわち、音声データを音声データ処
理部１９に出力して音声信号形成するタイミングを指定
するデュレーションデータΔｔが書き込まれている。音
声指定データは、音声データ番号，音程データおよび音
量データからなっている。音声データ番号は、音声デー
タ部に記録されている各音声データの識別番号ｎであ
る。音程データ，音量データは、形成すべき音声データ
の音程や音量を指示するデータである。すなわち、言葉
を伴わない「アー」や「ワワワワッ」などのバックコー
ラスは、音程や音量を変化させれば何度も利用できるた
め、基本的な音程，音量で１つ記憶しておき、このデー
タに基づいて音程や音量をシフトして繰り返し使用す
る。音声データ処理部１９は音量データに基づいて出力
レベルを設定し、音程データに基づいて音声データの読
出間隔を変えることによって音声信号の音程を設定す
る。

【００２４】効果トラックには、効果用ＤＳＰ２０を制
御するためのＤＳＰコントロールデータが書き込まれて
いる。効果用ＤＳＰ２０は音源装置１８，音声データ処
理部１９，音声処理用ＤＳＰ３０から入力される信号に
対してリバーブなどの残響系の効果を付与する。ＤＳＰ
コントロールデータは、このような効果の種類を指定す
るデータおよびその変化量データなどからなっている。

【００２５】図３および図４を参照してこのカラオケ装
置の調検出動作を説明する。ＣＰＵ１０は、ハーモニー
トラックを持たない楽曲データをＨＤＤ１７からＲＡＭ
１２の実行データ記憶エリア１２ａに読み出すとき、読
出動作に並行して以下の処理を行う。４分音符以上の長
さの音符を抽出する。音符の長さはノートオンイベント
データからノートオフイベントデータまでの時間的間隔
で判断することができる。これよりも短い音符を抽出し
ない訳は、短い音符は調に無関係な経過的な音符が多い
からである。抽出された音符の音高（ノートナンバ）の
オクターブ情報を捨象して１２音名（Ｃ〜Ｂ）に変換し
て、１小節毎にその出現度数を図３の出現度数テーブル
に記録する。この例では、最初の６小節はハ長調であ
り、７小節以後はイ短調に転調しているものとする。楽
曲データの読出終了後、すなわち、全ての４分音符以上
の音符の音高を出現度数テーブルに記録したのち、４小
節を１フレーム、すなわち、第１小節〜第４小節のフレ
ームをフレーム１，第２小節〜第５小節のフレームをフ
レーム２，第３小節〜第６小節のフレームをフレーム
３，……として各フレーム毎に調を検出する。まず、フ
レーム内の１２音名の出現度数を集計する。集計された
度数分布の例を図４（Ａ）に示す。そしてこの集計結果
と同図（Ｂ）の長調判定スケールおよび同図（Ｃ）の短
調判定スケールとを比較して最も一致する点を探す。同
図（Ａ）の度数分布の例はハ長調の例であるため、長調
判定スケールの原点Ｃの位置に当てたとき最も一致して
いる。したがって、この場合ハ長調と判断される。ま
た、図３の例の場合、第７小節で転調しているため、第
６小節から第７小節に跨がるフレームは、異なる調が混
ざって集計されていることになる。このためこのような
フレームの集計結果は、長調判定スケールおよび短調判
定スケールをどの音名から適用しても一致度が低くな
り、このことに基づいて転調を判断することができる。
すなわち、ある調に対する一致度が高いフレームから全
調の一致度が低いフレームを経過して他の調に対する一
致度が高いフレームが現れたとき、この全調の一致度が
低いフレームの区間に転調点があると判断することがで
きる。

【００２６】図５は、調判定動作を示すフローチャート
である。歌唱者によって選曲されたカラオケ曲の楽曲デ
ータをＨＤＤ１７から実行データ記憶エリア１２ａに読
み出す（ｓ１）。この読み出しと並行して４分音符以上
の長さの音符を抽出し（ｓ２）、該音符の音名な出現度
数テーブルに書き込んでゆく（ｓ３）。この書き込みは
図３に示すように小節毎に分けて行われる。楽曲データ
の読み出しが終了するまで上記動作を継続する（ｓ
４）。

【００２７】楽曲データの読み出しが終了すると、フレ
ーム１から順に以下の処理を行う。まず、フレーム内の
度数データを読み出し（ｓ５）、度数分布リスト（図４
（Ａ）参照）を作成する（ｓ６）。この度数分布リスト
を図４（Ｂ），（Ｃ）の長調判定スケール，短調判定ス
ケールと比較する（ｓ７）。すなわち、長調判定スケー
ルの主音（ド）をＣの位置に合わせて分布リストの形状
と比較する。次に、長調判定スケールの主音（ド）をＣ
♯の位置に合わせて分布リストの形状と比較する。以
下、この比較を主音がＤ，……，Ｂの１２半音の位置に
それぞれ合わせて行う。さらに、短調判定スケールにつ
いても主音（ラ）をＣ〜Ｂの１２半音の位置にそれぞれ
合わせて分布リストの形状と比較する。この比較の結
果、一致度が最も高い調にこのフレームの調を決定する
（ｓ８）。決定された調とその一致度のポイントを、出
現度数テーブルに対応して各小節毎に設けられている調
レジスタに記憶する（ｓ９）。以上の動作を全フレーム
（曲全体）について終了するまで繰り返し行う（ｓ１
０）。上記処理が終了したのち、曲の途中で調の切り換
えがあったか否かを判断し（ｓ１１）、調の切り換えが
あった場合には、一致度のポイントの変化に基づいて転
調点を正確に決定する（ｓ１２）。これにより、異なる
調を跨ぐフレームで調を判定することによる不正確さを
解消することができる。

【００２８】図６は、カラオケ演奏に並行して行われる
ハーモニーデータ生成動作を示すフローチャートであ
る。カラオケ演奏がスタートすると、楽音データや効果
トラックなどのカラオケ演奏用データを読み出して（ｓ
２０）、音源装置１８や効果用ＤＳＰ２０などの対応す
る動作部これを送信する（ｓ２１）。次に、ガイドメロ
ディデータをガイドメロディトラックから読み出すとと
もに（ｓ２２）、このガイドメロディ（歌唱旋律）に対
するハーモニーの度数を決定する（ｓ２３）。すなわ
ち、ハーモニーをメロディの３度上，５度上，３度下，
５度下またはその他の音程にするかを決定する。この決
定は、和音，メロディの進行や対位法などに基づいて決
定される。そして、調レジスタからこの小節の調を読み
出し（ｓ２４）、ｓ２３で決定されたハーモニーの度数
および読み出された調に基づいてハーモニーのシフト半
音数を決定する。このシフト半音数は、ハーモニーをガ
イドメロディからノートナンバにしてどれだけ上下させ
るかを指示する数値である。ガイドメロディデータに含
まれるノートナンバデータを上記シフト半音数だけ増減
してハーモニーデータを生成し（ｓ２６）、これをガイ
ドメロディデータとともに音声処理用ＤＳＰ３０に出力
する（ｓ２７）。この動作を曲が終了するまで繰り返し
実行する（ｓ２８）。

【００２９】図７は前記音声処理用ＤＳＰ３０の動作を
説明する図である。音声処理用ＤＳＰ３０は、入力され
た歌唱音声信号に対するハーモニー音声信号を形成す
る。この処理動作は内蔵されているマイクロプログラム
に基づいて実行されるが、このマイクロプログラムをブ
ロック化するとこの図のように表すことができる。

【００３０】マイク２７から入力されアンプ２８で増幅
されＡ／Ｄコンバータ２９でディジタル信号に変換され
た歌唱音声信号は、この音声処理用ＤＳＰ３０の周期検
出部４０，ピーク検出部４１，音素検出部４２，平均音
量検出部４３および乗算器４５に入力される。

【００３１】周期検出部４０は入力された歌唱音声信号
の波形に基づきその周期Ｔを検出する（図８（Ａ）参
照）。また、周期検出部４０は、ＣＰＵ１０からガイド
メロディデータを入力している。ガイドメロディデータ
は、ガイドメロディの周波数を表すデータである。子音
部や音の変わり目などで歌唱音声信号の音程が不定にな
ったとき、周期検出部４０はこのガイドメロディデータ
が指示する周波数から得た周期情報を出力する。周期検
出部４０は検出した周期情報をピーク検出部４１および
窓関数発生部４４に出力する。

【００３２】ピーク検出部４１は入力された歌唱音声信
号の１つの周期内におけるローカルピークを検出する
（図８（Ａ）参照）。周期検出部４０から入力される周
期情報によって１周期の間隔が決定される。ピーク検出
部４１は検出したピークタイミング情報を窓関数発生部
４４に出力する。

【００３３】音素検出部４２は、入力された歌唱音声信
号のレベルの切れ目や周波数成分の変化によって音素の
切れ目を検出する。ここで音素とは発音を個別の子音と
母音に分割した区間をいうものとする。図８（Ｂ）にお
いて、歌詞「あかしやの」は、それぞれ「あ」「か」
「し」「や」「の」の５個の音節からなっており、これ
らの音節は「ａ」「ｋ」「ａ」「ｓｈ」「ｉ」「ｙ」
「ａ」「ｎ」「ｏ」の９個の音素に分割することができ
る。各音節間にはレベルが低下する切れ目があり、子音
がホワイトノイズ的な非周期波形であるのに対し、母音
が周期波形であることなどに基づいて音素の分割を行
う。音素検出部４０は音素の切れ目を検出すると、切れ
目である旨を表示する情報を窓関数発生部４４に出力す
る。

【００３４】平均音量検出部４３は入力された歌唱音声
信号の振幅レベルを平滑して平均音量を検出する。平均
音量検出部４３は検出した平均音量情報を音量制御部５
０に出力する。

【００３５】窓関数発生部４４は図８（Ｃ）に示すよう
な窓関数を出力する。この窓関数は乗算器４５に出力さ
れる。乗算器４５には上述したように歌唱音声信号が入
力されているため、歌唱音声信号がこの窓関数の部分の
み切り取られることになる（図８（Ｃ）参照）。窓関数
としては、開始から終了まで微分的に連続な関数を使用
することが望ましい。微分的に連続な関数を使用する
と、歌唱音声信号の一部（１周期）のみを切り出して
も、切り出しの境界でノイズを発生することがない。こ
のため、このＤＳＰ３０では、ｓｉｎ² （ωｔ／２）
（ｔ＝０〜Ｔ：Ｔは歌唱音声信号の１周期）を使用して
いる。この式からも明らかなように、窓関数の長さは歌
唱音声信号の１周期である。１周期の長さは周期検出部
４０から入力される周期情報によって与えられる。ま
た、窓関数発生部４４は、数十ｍｓ〜１００ｍｓの適当
な間隔で繰り返し窓関数を発生する。このようにある程
度時間をあけて窓関数を発生するのは、同じ波形要素デ
ータをある程度継続しないと、その波形要素データの音
色が聴取者に認識されないからである。一方、音素検出
部４２から音素の切れ目を表示する情報が入力されたと
きには必ず窓関数を発生して新たな音素の波形要素デー
タの切り出しを行う。これは、音素が切り換わると音色
が全く変わるため、これに追従するためである。また、
窓関数の開始タイミングは、ピーク検出部４１から入力
されたピークが窓関数の中央に来るように、ピークと次
のピークの中間点すなわち最もレベルの低い点となるよ
うに制御される。上記のような窓関数で切り出された波
形要素データは、歌唱音声信号の音色すなわちフォルマ
ント（倍音成分）をほぼそのまま保存したものとなる。

【００３６】窓関数発生部４４は、窓関数を発生すると
同時に、窓関数を発生する旨およびその長さに関する情
報を書込制御部４７に出力する。書込制御部４７は、こ
の情報に対応して窓関数の開始から終了までの間、サン
プリングクロック（４４．１ｋＨｚ）に同期して歩進す
る書込アドレスをメモリ４６に入力する。この書込アド
レスの入力により、乗算器４５で切り出された波形要素
データはメモリ４６に記憶される。

【００３７】以上の構成により、メモリ４６には、その
ときの歌唱音声信号の１周期分の波形要素データが記憶
される。この波形要素データを任意の周期で繰り返し読
み出すことにより、その任意の周期の基本周波数を有
し、波形要素データすなわち歌唱音声信号の音色（倍音
構成）を備えた音声信号を合成することができる。そこ
で、この波形要素データを歌唱音声信号から３度，５度
など協和する周波数関係にあるハーモニーデータが指示
する周波数の周期で繰り返し読み出すことにより、その
周波数で且つ歌唱音声信号と同じ音色のハーモニー音声
信号を形成することができる。

【００３８】メモリ４６の読出制御は読出制御部４８が
行う。読出制御部４８にはＣＰＵ１０からハーモニーデ
ータが入力されている。このハーモニーデータは、楽音
データのハーモニートラックから読み出されたイベント
データである。読出制御部４８はこのハーモニーデータ
の周波数でメモリ４６を繰り返しアクセスする。すなわ
ち、１秒間にハーモニーデータの周波数回だけ波形要素
データを繰り返して読み出す。このハーモニーがガイド
メロディよりも周波数が低い場合には、ハーモニー音声
信号は、図９（Ａ）に示すように波形要素データがデー
タ長Ｔよりも長いＴ１の間隔をおいて配列された波形と
なる。このハーモニーがガイドメロディよりも周波数が
高い場合には、ハーモニー音声信号は、図９（Ｂ）に示
すように波形要素データがデータ長Ｔよりも短いＴ２の
間隔で互いに重なりあって配列された波形となる。これ
により、ハーモニー音声信号の基本周波数は１／Ｔ１お
よび１／Ｔ２となるが各波形要素データ中の倍音成分は
そのまま保存されているため、歌唱音声信号と同様のフ
ォルマントが形成される。また、窓関数が微分的に連続
であるためノイズが発生することはない。

【００３９】上記のようにメモリ４６から波形要素デー
タを繰り返し読み出すことによって形成されたハーモニ
ー音声信号は切換器４９を経て乗算器５１に入力され
る。乗算器５１は音量制御部５０から音量制御データが
入力される。音量制御部５０は前記平均音量検出部４３
から歌唱音声信号の平均音量情報を入力しており、この
平均音量情報に基づいて音量制御データを発生する。音
量制御データは、たとえば平均音量情報の８０パーセン
トの値に設定される。乗算器５１で音量制御をされたハ
ーモニー音声信号は効果用ＤＳＰ２０に出力される。な
お、切換器４９はフレーズの切れ目などで強制的に出力
を０にするとき使用される。

【００４０】音声処理用ＤＳＰ３０の以上のような動作
により、歌唱者の歌唱音声信号の音色をそのまま保存し
たハーモニー音声信号を形成することができるととも
に、歌唱音声信号の周期（周波数）を検出できない場合
でも、ハーモニー音声信号を支障なく形成することがで
きる。すなわち、通常の歌唱者の歌唱であれば、歌唱音
声信号の周波数とガイドメロディデータで与えられる周
波数とはそれほど差がないと考えられるため、その周期
で波形要素データを切り出して、所定の周波数でこれを
再合成することにより、ほぼ歌唱者の音色を維持したハ
ーモニー音声信号を形成することができる。

【００４１】この実施形態では、調を判定する単位のフ
レームを４小節としているが、フレームの大きさはこれ
に限定されない。また、長調判定スケール，短調判定ス
ケールと１２音名の出現度数分布との一致度に基づいて
調を判定するようにしているが、出現度数分布に基づく
調判定方法はこれに限定されない。

【００４２】

【発明の効果】以上のようにこの発明によれば、ハーモ
ニーデータが無くても旋律データや伴奏データを用いて
ハーモニーデータを生成することができる。また、この
発明によれば、既存の（ハーモニーパートのない）楽曲
データでカラオケ演奏をする場合でも、ハーモニーパー
トを生成してハーモニー音声信号を形成・発音すること
が可能になる。

【図面の簡単な説明】

【図１】この発明の実施形態であるカラオケ装置のブロ
ック図

【図２】同カラオケ装置に用いられる楽曲データの構成
を示す図

【図３】同カラオケ装置における調検出の方式を説明す
る図

【図４】同カラオケ装置における調検出の方式を説明す
る図

【図５】同カラオケ装置の調検出動作を示すフローチャ
ート

【図６】同カラオケ装置の楽曲データ読出動作を示すフ
ローチャート

【図７】同カラオケ装置の音声処理用ＤＳＰの機能構成
を示す図

【図８】同音声処理用ＤＳＰの波形切出動作を説明する
図

【図９】同音声処理用ＤＳＰの音声変換動作を説明する
図

【符号の説明】

１…ＣＰＵ、１２…ＲＡＭ、１７…ＨＤＤ、３０…音声
処理用ＤＳＰ

Claims (2)

【特許請求の範囲】
1. 【請求項１】 旋律データ、伴奏データを含む楽曲デー
   タを記憶する記憶手段と、 該楽曲データの音高分布に基づいて調を検出する調検出
   手段と、 該調検出手段が検出した調で前記旋律データから所定度
   数上または下の音高のハーモニーデータを生成するハー
   モニーデータ生成手段と、 を備えたことを特徴とするハーモニーデータ生成装置。
2. 【請求項２】 カラオケ曲の歌唱旋律データ、カラオケ
   演奏用データを含む楽曲データを記憶する記憶手段と、 該楽曲データの音高分布に基づいて調を検出する調検出
   手段と、 前記カラオケ演奏用データを読み出すことによってカラ
   オケ曲の演奏を実行するカラオケ演奏手段と、 歌唱音声信号を入力する歌唱入力手段と、 該歌唱入力手段から入力された歌唱音声信号を、前記調
   検出手段が検出した調で前記歌唱旋律データから所定度
   数上または下の音高の信号に変換して、該変換された信
   号を前記歌唱入力手段から入力された歌唱音声信号とと
   もに出力するハーモニー信号形成手段と、 を備えたことを特徴とするカラオケ装置。