JPH08234784A - ハーモニー生成装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【目的】歌唱音声信号のピッチ不検出時でも、ハーモニ
ー音声信号を作成するカラオケ装置。 【構成】音声処理用ＤＳＰ３０への入力歌唱音声信号
は、ピーク検出部４１，音素検出部４２，平均音量検出
部４３および乗算器４５に供給する。歌唱音声信号は、
乗算器４５において窓関数が乗算され切り出された１周
期分の波形要素データはメモリ４６に記憶する。ハーモ
ニーデータの読出制御部４８がメモリ４６をアクセスし
ハーモニー周波数に対応する間隔で波形要素データを繰
り返し読み出された信号がハーモニー音声信号となる。
窓関数は、主旋律データで１周期分の長さとされ、ピー
ク検出部４１が検出するピークが窓関数と中央となるタ
イミングとされる。窓関数発生部４４は数十ｍｓ毎に波
形要素データの切り出しを行い、音色に対応する波形要
素データをメモリ４６に書き込み音素の変化時、音素検
出部４２が窓関数発生部４４に伝達し、窓関数を発生す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、歌唱や演奏の音声信
号に対するハーモニー音声信号を生成するハーモニー生
成装置に関し、とくに、音声信号の周波数が検出できな
い場合でも的確なハーモニー音声信号を生成できるハー
モニー生成装置に関する。

【０００２】

【従来の技術】現在実用化されているカラオケ装置など
では、歌唱を盛り上げるため、または、歌唱を上手く聞
かせるために歌唱者の歌唱音声に対してハーモニー（た
とえば、旋律に対して３度上の旋律）の音声を付加して
出力する機能を備えたものがある。ハーモニー付加機能
としては、歌唱者の歌唱音声とよく似た音色で且つ同じ
テンポのハーモニー音声を作るためマイクから入力され
た歌唱者の音声信号の周波数をシフトしてハーモニー音
声信号を形成するものが一般的である。

【０００３】

【発明が解決しようとする課題】しかし、上述のハーモ
ニー音声信号付加技術は、歌唱者の歌唱音声信号の基本
周波数を検出し、この基本周波数に基づいてシフトを行
っていたため、入力された歌唱音声信号の周波数を検出
することができなかった場合には、ハーモニー音声信号
の形成ができないという欠点があった。

【０００４】この発明は、入力された音声信号の周波数
を検出することができない場合でもハーモニー音声信号
を形成することができるハーモニー生成装置を提供する
ことを目的とする。

【０００５】

【課題を解決するための手段】この出願の請求項１の発
明は、歌唱または演奏の音声信号を入力する音声信号入
力手段と、該音声信号の周波数情報である旋律情報を供
給する旋律情報供給手段と、前記音声信号の周波数に協
和する周波数であるハーモニー周波数を供給するハーモ
ニー周波数供給手段と、前記音声信号から前記旋律情報
の１周期分の波形を波形要素データとして切り出す波形
要素データ抽出手段と、該波形要素データを前記ハーモ
ニー周波数で繰り返し読み出すことによりハーモニー音
声信号を形成するハーモニー形成手段とを備えたことを
特徴とする。

【０００６】この出願の請求項２の発明は、歌唱または
演奏の音声信号を入力する音声信号入力手段と、該音声
信号入力手段から入力された音声信号の周波数を検出す
る周波数検出手段と、前記音声信号の周波数情報である
旋律情報を供給する旋律情報供給手段と、前記歌唱また
は演奏に協和する周波数であるハーモニー周波数を供給
するハーモニー周波数供給手段と、前記周波数検出手段
が音声信号の周波数を検出できたとき、前記音声信号か
ら前記周波数の１周期分の波形を波形要素データとして
切り出し、前記周波数検出手段が音声信号の周波数を検
出できなかったとき、前記旋律情報の１周期分の波形を
波形要素データとして切り出す波形要素データ抽出手段
と、該波形要素データを前記ハーモニー周波数で繰り返
し読み出すことによりハーモニー音声信号を形成するハ
ーモニー形成手段とを備えたことを特徴とする。

【０００７】この出願の請求項３の発明は、前記旋律情
報供給手段を複数の旋律情報を時系列に記憶する旋律情
報記憶手段と、該旋律情報記憶手段から旋律情報を逐次
読み出して前記波形要素データ抽出手段に供給する手段
とで構成し、且つ、前記ハーモニー周波数供給手段を複
数のハーモニー周波数を時系列に記憶するハーモニー周
波数記憶手段と、該ハーモニー周波数記憶手段からハー
モニー周波数を逐次読み出して前記ハーモニー形成手段
に供給する手段とで構成したことを特徴とする。

【０００８】

【作用】請求項１のハーモニー生成装置は、歌唱または
演奏の音声信号を入力し、この音声信号から旋律情報の
１周期分の波形を波形要素データとして切り出す。旋律
情報は旋律情報供給手段から供給される。１周期分の波
形要素データは基本周波数の長さであるがその倍音成分
に関しては１周期を超えて（２周期以上）含まれている
ため、前記入力された音声信号の倍音特性（フォルマン
ト）が保存されている。この波形要素データをハーモニ
ー周波数で繰り返し読み出してハーモニー音声信号を形
成する。ハーモニー周波数は、入力された音声信号の周
波数に協和する周波数、たとえば３度（４／３倍）や５
度（３／２倍）の関係を有する周波数がハーモニー周波
数供給手段から供給される。このハーモニー音声信号
は、波形要素データをハーモニー周波数で繰り返すこと
から基本周波数はハーモニー周波数となるが、波形要素
データの倍音成分がそのまま含まれているため、前記入
力された音声信号のフォルマントが再現され、同じ音色
となる。

【０００９】また、請求項２のハーモニー生成装置は、
入力された音声信号の周波数を検出し、波形要素データ
を切り出す単位である１周期をこの周波数に基づいて決
定する。これが検出できなかったときには請求項１と同
様に旋律情報供給手段から供給される旋律情報の１周期
を切り出し単位の１周期とする。入力された音声信号に
基づいて１周期を決定するとより理想的な長さの波形要
素データを切り出すことができ、また、歌唱の音程が不
安定で周波数を検出できなかった場合でも、旋律情報に
基づいて波形要素データの切り出しを行うことができ、
ハーモニー音声信号の形成が途切れることがない。

【００１０】請求項３の発明では、前記旋律情報供給手
段を複数の旋律情報を時系列に記憶する旋律情報記憶手
段と、該旋律情報記憶手段から旋律情報を逐次読み出し
て前記波形要素データ抽出手段に供給する手段とで構成
し、前記ハーモニー周波数供給手段を複数のハーモニー
周波数を時系列に記憶するハーモニー周波数記憶手段
と、該ハーモニー周波数記憶手段からハーモニー周波数
を逐次読み出して前記ハーモニー形成手段に供給する手
段とで構成した。これにより、歌唱または演奏の進行に
同期した旋律情報およびハーモニー周波数の供給が可能
になる。

【００１１】

【実施例】図面を参照してこの発明の実施例であるハー
モニー付加機能付カラオケ装置について説明する。この
カラオケ装置は、音源カラオケ装置であり、通信機能、
および、ハーモニー付加機能を備えている。音源カラオ
ケ装置とは、楽曲データで音源装置を駆動することによ
りカラオケ演奏音を発生するカラオケ装置である。楽曲
データとは、音高や発音タイミングを指定する演奏デー
タ列などの複数トラックからなるシーケンスデータであ
る。また、通信機能とは、通信回線を介してホストステ
ーションと接続され、楽曲データをホストステーション
からダウンロードしてハードディスク装置１７（図１参
照）に蓄える機能である。ハードディスク装置１７は、
楽曲データを数百〜数千曲分記憶することができる。ハ
ーモニー付加機能とは、歌唱者の歌唱音声信号に３度や
５度の音程のハーモニー音声信号を付加する機能であ
る。ハーモニー音声信号は、歌唱者の歌唱音声をピッチ
シフトすることによって生成する。

【００１２】図１は同カラオケ装置のブロック図であ
る。装置全体の動作を制御するＣＰＵ１０には、バスを
介してＲＯＭ１１，ＲＡＭ１２，ハードディスク記憶装
置（ＨＤＤ）１７，ＩＳＤＮコントローラ１６，リモコ
ン受信機１３，表示パネル１４，パネルスイッチ１５，
音源装置１８，音声データ処理部１９，効果用ＤＳＰ２
０，文字表示部２３，ＬＤチェンジャ２４，表示制御部
２５および音声処理用ＤＳＰ３０が接続されている。

【００１３】ＲＯＭ１１には、システムプログラム，ア
プリケーションプログラム，ローダおよびフォントデー
タが記憶されている。システムプログラムは、この装置
の基本動作や周辺機器とのデータ送受を制御するプログ
ラムである。アプリケーションプログラムは周辺機器制
御プログラム，シーケンスプログラムなどである。カラ
オケ演奏時にはシーケンスプログラムがＣＰＵ１０によ
って実行され、楽曲データに基づいた楽音の発生，映像
の再生が行われる。ローダは、ホストステーションから
楽曲データをダウンロードするためのプログラムであ
る。フォントデータは、歌詞や曲名などを表示するため
のものであり、明朝体やゴジック体などの複数種類の文
字種のフォントが記憶されている。また、ＲＡＭ１２に
は、ワークエリアが設定される。ＨＤＤ１７には楽曲デ
ータファイルが設定される。

【００１４】ＩＳＤＮコントローラ１６は、ＩＳＤＮ回
線を介してホストステーションと交信するためのコント
ローラである。ＩＳＤＮコントローラ１６はホストステ
ーションから楽曲データなどをダウンロードする。ま
た、ＩＳＤＮコントローラ１６はＤＭＡ回路を内蔵して
おり、ダウンロードされた楽曲データやアプリケーショ
ンプログラムをＣＰＵ１０を介さずに直接ＨＤＤ１７に
書き込む。

【００１５】リモコン受信機１３はリモコン３１から送
られてくる赤外線信号を受信してデータを復元する。リ
モコン３１は選曲スイッチなどのコマンドスイッチやテ
ンキースイッチなどを備えており、利用者がこれらのス
イッチを操作するとその操作に応じたコードで変調され
た赤外線信号を送信する。表示パネル１４はこのカラオ
ケ装置の前面に設けられており、現在演奏中の曲コード
や予約曲数などを表示するものである。パネルスイッチ
１５はカラオケ装置の前面操作部に設けられており、曲
コード入力スイッチやキーチェンジスイッチなどを含ん
でいる。

【００１６】音源装置１８は、カラオケ演奏時にＣＰＵ
１０から入力されるイベントデータに基づいて楽音信号
を形成する。イベントデータは楽曲データの楽音トラッ
クに記憶されている。楽音トラックは図４に示すように
複数設定されているため、イベントデータも複数系統が
並行して入力される。音源装置１８は、これらのデータ
を受信して複数の楽音信号を同時に形成する。音声デー
タ処理部１９は、楽曲データに含まれるＡＤＰＣＭデー
タである音声データに基づき、指定された長さ，指定さ
れた音高の音声信号を形成する。音声データは、バック
コーラスや模範歌唱音などの音源装置１８で電子的に発
生しにくい信号波形をそのままディジタル化して記憶し
たものである。

【００１７】一方、歌唱用のマイク２７から入力された
歌唱の音声信号はプリアンプ２８で増幅されＡ／Ｄコン
バータ２９でディジタル信号に変換されたのち効果用Ｄ
ＳＰ２０および音声処理用ＤＳＰ３０に入力される。音
声処理用ＤＳＰ３０には、このほかＣＰＵ１０から主旋
律情報，ハーモニー情報が入力される。音声処理用ＤＳ
Ｐ３０はこれらの情報に基づいて歌唱者の歌唱音声信号
から波形要素データを切り出し、この波形要素データを
合成してハーモニー音声信号を形成する。このハーモニ
ー音声信号は効果用ＤＳＰ２０に出力される。

【００１８】効果用ＤＳＰ２０には、音源装置１８が形
成した楽音信号、音声データ処理部１９が形成した音声
信号、Ａ／Ｄコンバータがディジタル変換した歌唱音声
信号および音声処理用ＤＳＰ３０が形成したハーモニー
音声信号が入力される。効果用ＤＳＰ２０は、これら入
力された音声信号や楽音信号に対してリバーブやエコー
などの効果を付与する。効果用ＤＳＰ２０が付与する効
果の種類や程度は、楽曲データの効果トラックのイベン
トデータ（ＤＳＰコントロールデータ）に基づいて制御
される。ＤＳＰコントロールデータはＤＳＰコントロー
ル用シーケンスプログラムに基づき、ＣＰＵ１０が所定
のタイミングに効果用ＤＳＰ２０に入力する。効果が付
与された楽音信号，音声信号はＤ／Ａコンバータ２１で
アナログ信号に変換されたのちアンプ・スピーカ２２に
出力される。アンプ・スピーカ２２はこの信号を増幅し
たのち放音する。

【００１９】文字表示部２３は入力される文字データに
基づいて、曲名や歌詞などの文字パターンを生成する。
また、ＬＤチェンジャ２４は入力された映像選択データ
（チャプタナンバ）に基づき、対応するＬＤの背景映像
を再生する。映像選択データは当該カラオケ曲のジャン
ルデータなどに基づいて決定される。ジャンルデータは
楽曲データのヘッダに書き込まれており、カラオケ演奏
スタート時にＣＰＵ１０によって読み出される。ＣＰＵ
１０はジャンルデータに基づいてどの背景映像を再生す
るかを決定し、その背景映像を指定する映像選択データ
をＬＤチェンジャ２４に対して出力する。ＬＤチェンジ
ャ２４には、５枚（１２０シーン）程度のレーザディス
クが内蔵されており約１２０シーンの背景映像を再生す
ることができる。映像選択データによってこのなかから
１つの背景映像が選択され、映像データとして出力され
る。文字パターン，映像データは表示制御部２５に入力
される。表示制御部２５ではこれらのデータをスーパー
インポーズで合成してモニタ２６に表示する。

【００２０】次に、図３〜図５を参照して同カラオケ装
置においてカラオケ演奏に用いられる楽曲データの構成
について説明する。図３は楽曲データの構成を示す図で
ある。また、図４，図５は楽曲データの詳細な構成を示
す図である。

【００２１】図３において、１つの楽曲データは、ヘッ
ダ，楽音トラック，主旋律トラック，ハーモニートラッ
ク，歌詞トラック，音声トラック，効果トラックおよび
音声データ部からなっている。

【００２２】ヘッダは、この楽曲データに関する種々の
データが書き込まれる部分であり、曲名，ジャンル，発
売日，曲の演奏時間（長さ）などのデータが書き込まれ
ている。ＣＰＵ１０は、メインシーケンスプログラムの
実行時にジャンルデータに基づいてモニタ２６に表示す
る背景映像を決定し、ＬＤチェンジャ２４に対してその
映像のチャプタナンバを送信する。背景映像の決定方式
は、冬をテーマにした演歌の場合には雪国の映像を選択
し、ポップスの場合には外国の映像を選択するなどであ
る。

【００２３】楽音トラック〜効果トラックの各トラック
は図４，図５に示すように複数のイベントデータと各イ
ベントデータ間の時間間隔を示すデュレーションデータ
Δｔからなるシーケンスデータで構成されている。各ト
ラックのイベントデータはカラオケ演奏中にシーケンス
プログラムに基づきＣＰＵ１０によって読み出される。
シーケンスプログラムは、所定のテンポクロックでΔｔ
をカウントし、Δｔをカウントアップしたときこれに続
くイベントデータの読出タイミングであるとして、これ
を読み出して所定の処理部へ出力するプログラムであ
る。

【００２４】楽音トラックには、メロディトラック，リ
ズムトラックを初めとして種々のパートのトラックが形
成されている。ＣＰＵ１０は、楽音シーケンスプログラ
ムによって読み出したイベントデータを音源装置１８に
出力する。音源装置１８はそのイベントデータに含まれ
ているチャンネル指定データに基づいて発音チャンネル
を選択し、その発音チャンネルについてそのイベントを
実行する。

【００２５】主旋律トラックには、このカラオケ曲の主
旋律すなわち歌唱者が歌うべき旋律のシーケンスデータ
が書き込まれている。このデータはＣＰＵ１０から音声
処理用ＤＳＰ３０に入力される。音声処理用ＤＳＰ３０
はこのデータに基づいて歌唱音声信号から波形要素デー
タを切り出す。また、ハーモニートラックの構成も主旋
律トラックと同様であり、このカラオケ曲のハーモニー
旋律のシーケンスデータが書き込まれている。このデー
タもＣＰＵ１０から音声処理用ＤＳＰ３０に入力され
る。音声処理用ＤＳＰ３０はこのデータに基づいてハー
モニー音声信号の周波数（音高）を決定する。

【００２６】歌詞トラックは、モニタ２６上に歌詞を表
示するためのシーケンスデータを記憶したトラックであ
る。このシーケンスデータは楽音データではないが、イ
ンプリメンテーションの統一をとり、作業工程を容易に
するためこのトラックもＭＩＤＩデータ形式で記述され
ている。データ種類は、システム・エクスクルーシブ・
メッセージである。歌詞トラックのデータ記述におい
て、通常は１行の歌詞を１つの歌詞表示データとして扱
っている。歌詞表示データは１行の歌詞の文字データ
（文字コードおよびその文字の表示座標）、この歌詞の
表示時間（通常は３０秒前後）、および、ワイプシーケ
ンスデータからなっている。ワイプシーケンスデータと
は、曲の進行に合わせて歌詞の表示色を変更してゆくた
めのシーケンスデータであり、表示色を変更するタイミ
ング（この歌詞が表示されてからの時間）と変更位置
（座標）が１行分の長さにわたって順次記録されている
データである。

【００２７】音声トラックは、音声データ部に記憶され
ている音声データｎ（ｎ＝１，２，３，‥‥）の発生タ
イミングなどを指定するシーケンストラックである。音
声データ部には、音源装置１８で合成しにくいバックコ
ーラスやハーモニー歌唱などの人声が記憶されている。
音声トラックには、音声指定データと、音声指定データ
の読み出し間隔、すなわち、音声データを音声データ処
理部１９に出力して音声信号形成するタイミングを指定
するデュレーションデータΔｔが書き込まれている。音
声指定データは、音声データ番号，音程データおよび音
量データからなっている。音声データ番号は、音声デー
タ部に記録されている各音声データの識別番号ｎであ
る。音程データ，音量データは、形成すべき音声データ
の音程や音量を指示するデータである。すなわち、言葉
を伴わない「アー」や「ワワワワッ」などのバックコー
ラスは、音程や音量を変化させれば何度も利用できるた
め、基本的な音程，音量で１つ記憶しておき、このデー
タに基づいて音程や音量をシフトして繰り返し使用す
る。音声データ処理部１９は音量データに基づいて出力
レベルを設定し、音程データに基づいて音声データの読
出間隔を変えることによって音声信号の音程を設定す
る。

【００２８】効果トラックには、効果用ＤＳＰ２０を制
御するためのＤＳＰコントロールデータが書き込まれて
いる。効果用ＤＳＰ２０は音源装置１８，音声データ処
理部１９，音声処理用ＤＳＰ３０から入力される信号に
対してリバーブなどの残響系の効果を付与する。ＤＳＰ
コントロールデータは、このような効果の種類を指定す
るデータおよびその変化量データなどからなっている。

【００２９】図２は前記音声処理用ＤＳＰ３０の動作を
説明する図である。音声処理用ＤＳＰ３０は内蔵されて
いるマイクロプログラムに基づき入力された歌唱音声信
号に対するハーモニー音声信号を形成するが、このマイ
クロプログラムをブロック化するとこの図のように表す
ことができる。

【００３０】マイク２７から入力されアンプ２８で増幅
されＡ／Ｄコンバータ２９でディジタル信号に変換され
た歌唱音声信号は、この音声処理用ＤＳＰ３０の周期検
出部４０，ピーク検出部４１，音素検出部４２，平均音
量検出部４３および乗算器４５に入力される。

【００３１】周期検出部４０は入力された歌唱音声信号
の波形に基づきその周期Ｔを検出する（図６（Ａ）参
照）。また、周期検出部４０は、ＣＰＵ１０から主旋律
データを入力している。主旋律データは、主旋律の周波
数を表すデータである。子音部や音の変わり目などで歌
唱音声信号の音程が不定になったとき、周期検出部４０
はこの主旋律データによって歌唱音声信号の周期を推定
することによって得た周期情報を出力する。周期検出部
４０は検出した周期情報をピーク検出部４１および窓関
数発生部４４に出力する。

【００３２】ピーク検出部４１は入力された歌唱音声信
号の１つの周期内におけるローカルピークを検出する
（図６（Ａ）参照）。周期検出部４０から入力される周
期情報によって１周期の間隔が決定される。ピーク検出
部４１は検出したピークタイミング情報を窓関数発生部
４４に出力する。

【００３３】音素検出部４２は、入力された歌唱音声信
号のレベルの切れ目や周波数成分の変化によって音素の
切れ目を検出する。ここで音素とは発音を個別の子音と
母音に分割した区間をいうものとする。図６（Ｂ）にお
いて、歌詞「あかしやの」は、それぞれ「あ」「か」
「し」「や」「の」の５個の音節からなっており、これ
らの音節は「ａ」「ｋ」「ａ」「ｓｈ」「ｉ」「ｙ」
「ａ」「ｎ」「ｏ」の９個の音素に分割することができ
る。各音節間にはレベルが低下する切れ目があり、子音
がホワイトノイズ的な非周期波形であるのに対し、母音
が周期波形であることなどに基づいて音素の分割を行
う。音素検出部４０は音素の切れ目を検出すると、切れ
目である旨を表示する情報を窓関数発生部４４に出力す
る。

【００３４】平均音量検出部４３は入力された歌唱音声
信号の振幅レベルを平滑して平均音量を検出する。平均
音量検出部４３は検出した平均音量情報を音量制御部５
０に出力する。

【００３５】窓関数発生部４４は図６（Ｃ）に示すよう
な窓関数を出力する。この窓関数は乗算器４５に出力さ
れる。乗算器４５には上述したように歌唱音声信号が入
力されているため、歌唱音声信号がこの窓関数の部分の
み切り取られることになる（図６（Ｃ）参照）。窓関数
としては、開始から終了まで微分的に連続な関数を使用
することが望ましい。微分的に連続な関数を使用する
と、歌唱音声信号の一部（１周期）のみを切り出して
も、切り出しの境界でノイズを発生することがない。こ
のため、このＤＳＰ３０では、ｓｉｎ² （ωｔ／２）
（ｔ＝０〜Ｔ：Ｔは歌唱音声信号の１周期）を使用して
いる。この式からも明らかなように、窓関数の長さは歌
唱音声信号の１周期である。１周期の長さは周期検出部
４０から入力される周期情報によって与えられる。ま
た、窓関数発生部４４は、数十ｍｓ〜１００ｍｓの適当
な間隔で繰り返し窓関数を発生する。このようにある程
度時間をあけて窓関数を発生するのは、同じ波形要素デ
ータをある程度継続しないと、その波形要素データの音
色が聴取者に認識されないからである。一方、音素検出
部４２から音素の切れ目を表示する情報が入力されたと
きには必ず窓関数を発生して新たな音素の波形要素デー
タの切り出しを行う。これは、音素が切り換わると音色
が全く変わるため、これに追従するためである。また、
窓関数の開始タイミングは、ピーク検出部４１から入力
されたピークが窓関数の中央に来るように、ピークと次
のピークの中間点すなわち最もレベルの低い点となるよ
うに制御される。

【００３６】上記のような窓関数で切り出された波形要
素データは、歌唱音声信号の音色すなわちフォルマント
（倍音成分）をほぼそのまま保存したものとなる。

【００３７】窓関数発生部４４は、窓関数を発生すると
同時に、窓関数を発生する旨およびその長さに関する情
報を書込制御部４７に出力する。書込制御部４７は、こ
の情報に対応して窓関数の開始から終了までの間、サン
プリングクロック（４４．１ｋＨｚ）に同期して歩進す
る書込アドレスをメモリ４６に入力する。この書込アド
レスの入力により、乗算器４５で切り出された波形要素
データはメモリ４６に記憶される。

【００３８】以上の構成により、メモリ４６には、その
ときの歌唱音声信号の１周期分の波形要素データが記憶
される。この波形要素データを任意の周期で繰り返し読
み出すことにより、その任意の周期の基本周波数を有
し、波形要素データすなわち歌唱音声信号の音色（倍音
構成）を備えた音声信号を合成することができる。そこ
で、この波形要素データを歌唱音声信号から３度，５度
など協和する周波数関係にあるハーモニー周波数の周期
で繰り返し読み出すことにより、その周波数で且つ歌唱
音声信号と同じ音色のハーモニー音声信号を形成するこ
とができる。なお、この実施例では歌唱音声信号の周波
数は、主旋律データの周波数と概ね一致しているとし
て、楽曲データ中に記憶されているハーモニー旋律デー
タの周波数を用いてハーモニー音声信号を合成するよう
にしている。ハーモニー旋律データは図３，図４で説明
したように、主旋律トラックに記憶されているシーケン
スデータである主旋律データに対して協和する周波数関
係を有するシーケンスデータであり、ハーモニートラッ
クに記憶されているものである。

【００３９】メモリ４６の読出制御は読出制御部４８が
行う。読出制御部４８にはＣＰＵ１０からハーモニーデ
ータが入力されている。このハーモニーデータは、楽音
データのハーモニートラックから読み出されたイベント
データである。読出制御部４８はこのハーモニーデータ
の周波数でメモリ４６を繰り返しアクセスする。すなわ
ち、１秒間にハーモニー旋律データの周波数回だけ波形
要素データを繰り返して読み出す。このハーモニー旋律
が主旋律よりも周波数が低い場合には、ハーモニー音声
信号は、図７（Ａ）に示すように波形要素データがデー
タ長Ｔよりも長いＴ１の間隔をおいて配列された波形と
なる。このハーモニー旋律が主旋律よりも周波数が高い
場合には、ハーモニー音声信号は、図７（Ｂ）に示すよ
うに波形要素データがデータ長Ｔよりも短いＴ２の間隔
で互いに重なりあって配列された波形となる。これによ
り、ハーモニー音声信号の基本周波数は１／Ｔ１および
１／Ｔ２となるが各波形要素データ中の倍音成分はその
まま保存されているため、歌唱音声信号と同様のフォル
マントが形成される。また、窓関数が微分的に連続であ
るためノイズが発生することはない。

【００４０】上記のようにメモリ４６から波形要素デー
タを繰り返し読み出すことによって形成されたハーモニ
ー音声信号は切換器４９を経て乗算器５１に入力され
る。乗算器５１は音量制御部５０から音量制御データが
入力される。音量制御部５０は前記平均音量検出部４３
から歌唱音声信号の平均音量情報を入力しており、この
平均音量情報に基づいて音量制御データを発生する。音
量制御データは、たとえば平均音量情報の８０パーセン
トの値に設定される。乗算器５１で音量制御をされたハ
ーモニー音声信号は効果用ＤＳＰ２０に出力される。な
お、切換器４９はフレーズの切れ目などで強制的に出力
を０にするとき使用される。

【００４１】音声処理用ＤＳＰ３０の以上のような動作
により、歌唱者の歌唱音声信号の音色をそのまま保存し
たハーモニー音声信号を形成することができるととも
に、歌唱音声信号の周期（周波数）を検出できない場合
でも、ハーモニー音声信号を支障なく形成することがで
きる。すなわち、通常の歌唱者の歌唱であれば、歌唱音
声信号の周波数と主旋律データで与えられる周波数とは
それほど差がないと考えられるため、その周期で波形要
素データを切り出して、所定の周波数でこれを再合成す
ることにより、ほぼ歌唱者の音色を維持したハーモニー
音声信号を形成することができる。

【００４２】このように上記実施例では、音声処理用Ｄ
ＳＰ３０に周期検出部４０を設け、歌唱音声信号から周
期を検出して窓関数の長さを決定するようにし、この周
期が検出できないときのみＣＰＵ１０から入力される主
旋律データを用いて窓関数の長さを決定するようにして
いるが、図８のように、ＤＳＰ３０で歌唱音声信号の周
期を求めることなく、窓関数の長さの決定を全て主旋律
データで行うようにすれば周期検出部４０が不要とな
る。この場合には、ピーク検出部４１も主旋律データか
ら与えられる周期（周波数）に基づいてローカルピーク
を検出することになる。この図では、ピーク検出部４１
も窓関数発生部４４も直接主旋律データを入力して周期
を求めるようにしている。主旋律データは元より周波数
データであるため、これから周期を求めることは極めて
容易であり、別途周期演算部を設ける必要はない。上述
したように、通常の歌唱であれば歌唱音声信号の周波数
と主旋律データから与えられる周波数とは殆ど差がない
ため、この構成で実用上問題となることはない。

【００４３】さらに、歌唱音声信号の音素の切り換わり
を検出する音素検出部４２を省略しても窓関数の発生を
適当な間隔（例えば５０ｍｓ）で繰り返し行うようにす
ることにより、聴覚上それほどずれた印象を与えること
なくハーモニー音声信号を歌唱音声信号に追従させるこ
とができる。また、窓関数が微分的に連続していること
から、どの位相から波形信号を切り出しても、ノイズを
生じさせることなく波形要素データの切り出しが可能で
ある。したがって、歌唱音声信号のピークが窓関数の端
部にくることによって抑制され倍音構成が多少変化する
ことを許すのであれば、ピーク検出部４１を省略し歌唱
音声信号との位相関係を考慮に入れずに窓関数を発生す
るようにしてもよい。さらに、歌唱者の歌唱ボリューム
に追従する必要がなければ平均音量検出部４３および音
量制御部５０、乗算器５１も不要である。したがって、
本願発明の最低限の基本的な機能である「歌唱音声信号
から窓関数を用いて波形要素データを切り出し、この波
形要素データを所定周期で繰り返すことによりハーモニ
ー音声信号を形成する」ことを実現するためには、図９
に示す構成が備わっていればよい。

【００４４】なお、上記実施例ではハーモニー音声信号
を形成する音声処理用ＤＳＰ３０をカラオケ装置に内蔵
しているが、この音声処理用ＤＳＰ３０およびその前後
のＡ／Ｄコンバータ２９，Ｄ／Ａコンバータ（図２，図
８の破線部参照）を一体化して図１０のような外付の装
置（ハーモニー生成装置）として構成してもよい。この
場合には、同図に示すように、カラオケ演奏装置６１か
ら主旋律情報，ハーモニー情報を受け取り、マイク６２
から歌唱者のアナログ歌唱音声信号を入力してこれらに
基づいてハーモニー音声信号を生成する。カラオケ演奏
装置６１は操作パネルの操作に基づいて選曲（楽曲デー
タの選択）やピッチシフト（読み出されるイベントデー
タの音高情報の書き換え）等を行い、楽音データなどを
音源に出力し、歌詞データなどを画像制御部に出力す
る。

【００４５】以上のようにこの実施例では歌唱信号を処
理するカラオケ装置について説明したが、この発明はこ
れに限らず楽器の演奏による楽音信号に対しても適用す
ることができる。

【００４６】なお、実施例中に開示されているが、特許
請求の範囲に記載しなかった発明を従属形式で記載する
と以下のようになる。

【００４７】〔請求項４〕 前記波形要素データ抽出手
段は、波形要素データの切り出しを前記旋律情報で規定
される１周期よりも十分長い間隔で繰り返し実行する手
段である請求項１または請求項２に記載のハーモニー生
成装置。この発明では、波形要素データの切り出しを前
記旋律情報で規定される１周期よりも十分長い間隔で繰
り返し実行するようにした。ハーモニー形成手段は、新
たな波形要素データが切り出されるまで同じ波形要素デ
ータでハーモニー音声信号を形成するため、ある程度の
波数同じ波形が繰り返されることにより、聴取者にもそ
の波形の音色が認識可能となり入力された音声信号と同
じ音色であることが認識され易くなる。

【００４８】〔請求項５〕 前記波形要素データ抽出手
段は、微分的に連続な窓関数を波形要素データに乗算す
ることにより波形要素データを切り出す手段である請求
項１または請求項２に記載のハーモニー生成装置。この
発明では、波形要素データの切り出しを微分的に連続な
窓関数を波形要素データに乗算することにより行うよう
にした。これにより、切り出された波形要素データもそ
の始点および終点で微分的に連続したものとなり、これ
を再生しても始点，終点でノイズが生じることがない。

【００４９】〔請求項６〕 入力された音声信号の波形
のピークを検出するピーク検出手段を備え、前記波形要
素データ抽出手段を、検出されたピークがその中央にな
るように波形要素データを切り出す手段としたことを特
徴とする請求項５に記載のハーモニー生成装置。この発
明では、入力された音声信号の波形のピークを検出し、
検出されたピークがその中央になるように波形要素デー
タを切り出す。これにより、波形レベルの大きい部分が
波形要素データの中央に波形レベルの小さい部分が波形
要素データの端部に位置することになりノイズの発生が
抑制されるとともに、倍音成分がよりよく保存される。

【００５０】〔請求項７〕 入力された音声信号の子
音、母音の切り換わりを検出する音素検出手段を備え、
前記波形要素データ抽出手段を、音素の切り換わりが検
出されたとき波形要素データの切り出しを実行する手段
としたことを特徴とする請求項１または請求項２に記載
のハーモニー発生装置。この発明では、入力された音声
信号の子音・母音の切り換わりを検出し、この切り換わ
り時に波形要素データの切り出しを実行するようにし
た。これにより入力音声信号の波形の変化に速やかに追
従することができる。

【００５１】〔請求項８〕 入力された音声信号の音量
を検出する音量検出手段と、前記ハーモニー形成手段が
形成したハーモニー音声信号の音量を前記音量検出手段
の検出値に基づいて制御する音量制御手段とを備えたこ
とを特徴とする請求項１または請求項２に記載のハーモ
ニー生成装置。この発明では、入力された音声信号の音
量を検出し、この検出内容に基づいてハーモニー音声信
号の音量を制御する。これにより、入力された音声信号
とハーモニー音声信号との音量バランスを常時維持する
ことができる。

【００５２】

【発明の効果】以上のようにこの発明のハーモニー生成
装置は、入力された音声信号の１周期分の波形要素デー
タをハーモニー周波数で繰り返すことによってハーモニ
ー音声信号を形成するようにしたことにより、入力され
た音声信号の波形要素データの倍音成分がそのまま含ま
れた同じ音色のハーモニー音声信号を形成することがで
きる。また、このとき、波形要素データの切り出しを旋
律情報供給手段から供給される旋律情報に基づいて行う
ことにより、音声信号の周波数を検出できない場合でも
的確な波形要素データを切り出してハーモニー音声信号
を形成することができる。また、音声信号の周波数を全
く検出しないで波形要素データの切り出しを行うことも
できる。

【図面の簡単な説明】

【図１】この発明の実施例である音声変換カラオケ装置
のブロック図

【図２】同音声変換カラオケ装置の音声処理用ＤＳＰの
構成を示す図

【図３】同音声変換カラオケ装置に用いられる楽曲デー
タの構成を示す図

【図４】同音声変換カラオケ装置に用いられる楽曲デー
タの構成を示す図

【図５】同音声変換カラオケ装置に用いられる楽曲デー
タの構成を示す図

【図６】歌唱音声信号から波形要素データの切り出し方
式を説明する図

【図７】ハーモニー音声信号の形成方式を説明する図

【図８】音声処理用ＤＳＰの他の実施例を示す図

【図９】音声処理用ＤＳＰの他の実施例を示す図

【図１０】この発明の他の実施例であるハーモニー生成
装置を示す図

【符号の説明】

３０−音声処理用ＤＳＰ、４４−窓関数発生部、４８−
読出制御部

Claims (3)

【特許請求の範囲】
1. 【請求項１】 歌唱または演奏の音声信号を入力する音
   声信号入力手段と、該音声信号の周波数情報である旋律
   情報を供給する旋律情報供給手段と、前記音声信号の周
   波数に協和する周波数であるハーモニー周波数を供給す
   るハーモニー周波数供給手段と、 前記音声信号から前記旋律情報の１周期分の波形を波形
   要素データとして切り出す波形要素データ抽出手段と、
   該波形要素データを前記ハーモニー周波数で繰り返し読
   み出すことによりハーモニー音声信号を形成するハーモ
   ニー形成手段とを備えたことを特徴とするハーモニー生
   成装置。
2. 【請求項２】 歌唱または演奏の音声信号を入力する音
   声信号入力手段と、該音声信号入力手段から入力された
   音声信号の周波数を検出する周波数検出手段と、前記音
   声信号の周波数情報である旋律情報を供給する旋律情報
   供給手段と、前記歌唱または演奏に協和する周波数であ
   るハーモニー周波数を供給するハーモニー周波数供給手
   段と、 前記周波数検出手段が音声信号の周波数を検出できたと
   き、前記音声信号から前記周波数の１周期分の波形を波
   形要素データとして切り出し、前記周波数検出手段が音
   声信号の周波数を検出できなかったとき、前記旋律情報
   の１周期分の波形を波形要素データとして切り出す波形
   要素データ抽出手段と、 該波形要素データを前記ハーモニー周波数で繰り返し読
   み出すことによりハーモニー音声信号を形成するハーモ
   ニー形成手段とを備えたことを特徴とするハーモニー生
   成装置。
3. 【請求項３】 前記旋律情報供給手段は、複数の旋律情
   報を時系列に記憶する旋律情報記憶手段と、該旋律情報
   記憶手段から旋律情報を逐次読み出して前記波形要素デ
   ータ抽出手段に供給する手段からなり、 また、前記ハーモニー周波数供給手段は、複数のハーモ
   ニー周波数を時系列に記憶するハーモニー周波数記憶手
   段と、該ハーモニー周波数記憶手段からハーモニー周波
   数を逐次読み出して前記ハーモニー形成手段に供給する
   手段からなることを特徴とする請求項１または請求項２
   に記載のハーモニー生成装置。