JP3239706B2 - 歌唱音声合成装置 - Google Patents

歌唱音声合成装置

Info

Publication number
JP3239706B2
JP3239706B2 JP21649495A JP21649495A JP3239706B2 JP 3239706 B2 JP3239706 B2 JP 3239706B2 JP 21649495 A JP21649495 A JP 21649495A JP 21649495 A JP21649495 A JP 21649495A JP 3239706 B2 JP3239706 B2 JP 3239706B2
Authority
JP
Japan
Prior art keywords
data
lyrics
performance
supplied
instruction data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP21649495A
Other languages
English (en)
Other versions
JPH0944179A (ja
Inventor
慎一 大田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP21649495A priority Critical patent/JP3239706B2/ja
Priority to US08/687,976 priority patent/US5703311A/en
Publication of JPH0944179A publication Critical patent/JPH0944179A/ja
Application granted granted Critical
Publication of JP3239706B2 publication Critical patent/JP3239706B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Electrophonic Musical Instruments (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、人の声で歌を歌わ
せるための歌唱音声合成装置に関する。
【0002】
【従来の技術】音声を合成する手法は従来より種々の手
法が提案されており、例えば特開平3−200299号
公報に示されるようなフォルマント合成方式による音声
合成装置が知られている。
【0003】また、演奏前に歌詞を音声で入力してその
音韻データを記憶し、演奏モードにおいて鍵盤操作によ
りその音韻データを読み出すとともに音高を指定して、
予め音声で入力した歌詞の順に音声を発音して歌唱を行
う歌唱電子楽器も従来より知られている(特開昭58−
37693号公報)。
【0004】
【発明が解決しようとする課題】しかしながら、音声合
成による歌唱のためではなく、通常の楽器演奏のために
作成された演奏データに基づいて歌唱を行う電子装置
は、未だ提案されていない。そこで、従来の自動演奏装
置の音源を単純に音声合成装置に置き換え、歌詞の音声
で発音する手法が考えられるが、もともと楽器演奏のた
めに作成された演奏データでは、音声として発音した場
合には歌唱が不自然なものとなるという問題があった。
【0005】本発明はこの点に着目してなされたもので
あり、もともと楽器演奏のために作成された演奏データ
を生かして自然な歌唱を行うことができる歌唱音声合成
装置を提供することを目的とする。
【0006】
【課題を解決するための手段】上記目的を達成するため
本発明は、少なくとも発音指示データ及び消音指示デー
タを含む演奏データであって、外部から供給される演
データを受信する受信手段と、複数の音韻で構成される
歌詞を記憶する歌詞記憶手段と、該記憶した歌詞に対応
する音声を合成する音声合成手段とを備えた歌唱音声合
成装置において、前記音声合成手段は、前記受信手段か
ら前記発音指示データが供給される毎に、前記歌詞記憶
手段に記憶された複数の音韻に対応する音声を順次合成
し、該音声合成中に、前記受信手段から前記消音指示デ
ータが供給されたとしても該消音指示データによる消音
指示を無視することを特徴とする。
【0007】また、好ましくは、息継ぎタイミングを示
す息継ぎ情報を供給する息継ぎ情報供給手段を有し、前
記音声合成手段は、前記供給された息継ぎ情報が示す息
継ぎタイミングにおいて前記消音指示データが供給され
た場合には、当該タイミングにおいて合成中の音声を消
音することを特徴とする。
【0008】
【0009】また、請求項2の歌唱音声合成装置では、
息継ぎ情報が供給されたときは、そのとき合成されてい
る音声は前記消音指示データ発生時に消音処理を行うこ
とにより、前記息継ぎ情報が示す息継ぎタイミングでは
音声を消音するようにしている。
【0010】このように本発明によれば、演奏データに
基づいて音声が途切れないように順次合成され、演奏デ
ータに対応した歌唱が行われる。
【0011】
【発明の実施の形態】以下本発明の実施の形態を図面を
参照して説明する。
【0012】図1は本発明の実施の一形態にかかる歌唱
電子装置の構成を示すブロック図であり、この装置は、
装置全体の制御を行うCPU1と、CPU1で実行され
るプログラムやプログラムの実行に必要なテーブル等が
記憶されるROM2と、CPU1のワーキングエリアと
して使用され、演算途中のデータ等を記憶するRAM3
と、音声合成のためのフォルマントデータ、歌詞データ
及びメロディデータ(演奏データ)を記憶するデータメ
モリ4と、各種パラメータや装置の動作モード等を表示
する表示部5と、演奏者が演奏操作を行う、例えば鍵盤
のような演奏操作子6と、演奏モードの指定等を行うた
めの設定操作子7と、フォルマントデータに基づいて音
声又は楽音の合成を行うフォルマント音源8と、フォル
マント音源8から出力されるデジタル信号をアナログ信
号に変換するDA変換器9と、DA変換器の出力信号を
増幅してスピーカから出力するサウンドシステム10
と、上記構成要素1〜8を相互に接続するバス11とを
備えている。
【0013】フォルマント音源8は、複数の音源チャン
ネル80を有し、音源チャンネル80は、4つの母音フ
ォルマント発生部VTG1〜VTG4と、4つの子音フ
ォルマント発生部UTG1〜UTG4とから構成されて
いる。このように、母音及び子音についてぞれぞれ4個
ずつのフォルマント発生部を設け、これらのフォルマン
ト発生部の出力を加算して音声を合成する手法は、例え
ば前記特開平3−200299号公報に示されるように
公知である。
【0014】図2はデータメモリ4に記憶されるデータ
の構成を示す図であり、データメモリ4は、フォルマン
トデータFRMNTDATA、歌詞データLYRICD
ATA及びメロディデータMELODYSEQDATA
を記憶している。
【0015】フォルマントデータFRMNTDATA
は、日本語の50音のそれぞれに対応してFRMNTD
ATAa,FRMNTDATAi,…が記憶されてお
り、各フォルマントデータFRMNTDATAは、4つ
の母音フォルマント発生部VTG1〜VTG4及び4つ
の子音フォルマント発生部UTG1〜UTG4のそれぞ
れに供給するパラメータ群VFRMNT1〜4,UFR
MANT1〜4及びその他のデータMISC(例えば聴
感上の音量をそろえるためのレベル補正データ等)から
成る。そして各パラメータ群は、フォルマント中心周波
数FRMNTFREQ、フォルマントレベルFRMNT
LVL、フォルマント帯域幅FRMNTBW及びその他
のデータFRMNTMISC(例えば各フォルマント成
分の立ち上がりタイミング等)から成る。さらに、フォ
ルマント中心周波数FRMNTFREQは、k個の時系
列データから成り、図には示していないが、フォルマン
トレベルFRMNTLVL及びフォルマント帯域幅FR
MNTBWも同様にk個の時系列データで構成されてい
る。これらの時系列データは、フレームタイミング毎に
読み出され、時変動フォルマントが再生される。
【0016】なお、フォルマント中心周波数等の時系列
データは、記憶容量圧縮のため、時間経過に対して粗く
データを記憶しておき、適宜補間演算を行って時間的に
密なデータを発生したり、定常的な部分は所定のデータ
あるいはデータ区間をループ読み出しするようにしても
よい。
【0017】歌詞データLYRICDATAは、歌詞名
LYRICNAME、歌詞の1音素ずつに対応するmx
個の音声シーケンスデータVOICE1,VOICE
2,…,VOICEmx及びエンドデータENDから成
り、各音声シーケンスデータVOICEは、フォルマン
トデータFRMNTDATAを指定するインデックスデ
ータVOICEINDEX及び息継ぎすべきタイミング
を示す呼気フラグBREATHFLGから成る。例えば
「咲いた」で始まる歌詞の場合、「さ」がVOICE
1、「い」がVOICE2、「た」がVOICE3とい
うように記憶されている。また、呼気フラグBREAT
HFLG=1のときは、後述するように該当音素キーオ
フ時に消音され、次の音素キーオンまでにデュレーショ
ンがあれば、その間は無音期間となる。
【0018】メロディデータMELODYSEQDAT
Aは、タイトル名TITLENAME、演奏イベントに
対応するnx個のイベントデータEVENT1,EVE
NT2,…,EVENTnx及びエンドデータENDか
ら成り、イベントデータは、キーオン又はキーオフを示
すデータKON,KOFF、キーコードを示すデータK
EYCODE及びタッチを示すデータTOUCHから成
るキーオン/キーオフデータ、あるいは無音期間を示す
デュレーションデータDURATION等である。な
お、本装置は単音で歌唱を行うものであり、単音の(キ
ーオンが重複しない)演奏データを対象としている。
【0019】図3は、CPU1で実行されるメインプロ
グラムのフローチャートであり、本プログラムは本装置
の電源がオンされると実行が開始される。先ずステップ
S1では、各種パラメータの初期設定を行い、次いで演
奏操作子6及び設定操作子7における操作イベントの検
出処理を行う(ステップS2)。続くステップS3で
は、図4及び5に詳細を示す演奏発音処理を実行し、ス
テップS4でその他の処理を行って、ステップS2に戻
る。電源がオンされている間は、ステップS2〜S4を
繰り返し実行する。
【0020】次に図4及び5を参照して演奏発音処理の
詳細を説明する。
【0021】先ずステップS11では、演奏中であるこ
とを「1」で示す演奏フラグPLAYONが「0」であ
るか、すなわち非演奏中(演奏していない状態)か否か
を判別し、非演奏中のときは、歌唱スタートイベントが
あったか否かを判別する(ステップS12)。非演奏中
であって歌唱スタートイベントがあったときは、デュレ
ーション計測用のデュレーションタイマーをリセット
し、イベントポインタn及び歌詞ポインタmを共に
「1」にセットするとともに、演奏フラグPLAYON
を「1」にセットして(ステップS13)、ステップS
16に進む。
【0022】ステップS11又はS12の答が否定(N
O)のとき、すなわち演奏中のとき又は非演奏中であっ
て歌唱スタートイベントが発生していないときは、演奏
ストップイベントがあったか否かを判別し(ステップS
14)、なければステップS16に進む。演奏ストップ
イベントがあったときは、演奏フラグPLAYONを
「0」にリセットすると共に発音中のチャンネルをすべ
て消音する等の演奏終了処理を行い(ステップS1
5)、本処理を終了してメインプログラムに戻る。
【0023】ステップS16では、デュレーションタイ
マーのカウントが完了したか否かを判別し、完了してい
なければ直ちに本処理を終了する。一方完了したとき
(歌唱スタートイベント発生直後はデュレーションタイ
マーがリセットされるので、ステップS16の答は肯定
(YES)となる)は、指定されたメロディデータME
LODYSEQDATAからイベントデータEVENT
nを読み出し(ステップS17)、その読み出したイベ
ントデータEVENTnがキーイベントか否かを判別す
る(ステップS18)。そしてキーイベントでないとき
は、ステップS19に進んでデュレーションデータか否
かを判別し、デュレーションデータのときは、デュレー
ションタイマーをスタートさせるとともに(ステップS
20)、イベントポインタnを「1」だけインクリメン
トして(ステップS21)、本処理を終了する。また、
ステップS19でデュレーションデータでないときは、
エンドデータENDか否かを判別し(ステップS2
2)、エンドデータでなければ直ちに本処理を終了する
一方、エンドデータであるときは、演奏フラグPLAY
ONを「0」にリセットし(ステップS23)、ステッ
プS15と同様に演奏終了処理を行って(ステップS2
4)本処理を終了する。
【0024】ステップS18でキーイベントデータであ
るときは、演奏データを歌唱として発音する歌唱モード
に設定されているか否かを判別し(ステップS25)、
歌唱モードでないとき、すなわち通常の自動演奏モード
であるときは、所定の指定音色で対応するイベント(キ
ーオン又はキーオフ)の出力処理を行って(ステップS
26)、本処理を終了する。
【0025】また歌唱モードであるときは、キーイベン
トがキーオンイベントか否かを判別し(ステップS2
7)、キーオンイベントであるときは、指定された歌詞
データLYRICDATAから歌詞シーケンスデータV
OICEmを読み出し(ステップS28)、図5のステ
ップS29に進む。ステップS29では、前の歌詞シー
ケンスデータVOICEm−1の発音状態をチェック
し、次いでそのVOICEm−1に対応する音源チャン
ネルが発音中か否かを判別する(ステップS30)。そ
の結果、発音中でなければ直ちに、また発音中のとき
は、その音源チャンネルに対してキーオフを出力した
後、ステップS32に進む。
【0026】ステップS32では、発音していない音源
チャンネルをサーチし、ついで歌詞シーケンスデータV
OICEmに対応するフォルマントデータFRMNTD
ATAに基づいて、ステップS32でサーチした空きチ
ャンネルにキーオンを出力する(ステップS33)。そ
して、イベントポインタnを「1」だけインクリメント
して(ステップS34)、本処理を終了する。
【0027】一方前記ステップS27の答が否定(N
O)、すなわちキーオフイベントのときは、ステップS
35に進み、発音中の歌詞シーケンスデータVOICE
mをチェックし、そのVOICEmの呼気フラグBRE
ATHFLGが「1」か否か、すなわち息継ぎ指定があ
るか否かを判別する(ステップS36)。そして、BR
EATHFLG=0のときは直ちに、またBREATH
FLG=1であるときは、発音中の音源チャンネルに対
してキーオフを出力した後、ステップS38に進む。ス
テップS38では、イベントポインタn及び歌詞ポイン
タmを共に「1」だけインクリメントして、本処理を終
了する。
【0028】以上のように図4及び5の処理では、歌唱
モードでの演奏中は、キーオフイベント(ノートオフイ
ベント)があっても、呼気フラグBREATHFLGが
「1」であるときを除き、消音処理がされず(ステップ
S36、S37)、次の歌詞シーケンスデータのキーオ
ンイベント(ノートオンイベント)発生時に消音処理を
行う(ステップS30、S31)ようにしたので、息継
ぎ指定をしない限り歌詞が途切れることなくつながり、
もともと楽器演奏のために作成された演奏データを生か
して自然な歌唱を行うことができる。
【0029】なお、呼気フラグBREATHFLGを設
けないで、すべての歌詞を途切れないないようにして歌
唱を行うようにしてもよい。
【0030】また、メロディデータMELODYSEQ
DATAは、データメモリに記憶したものに限るもので
はなく、MIDIインターフェースを設けて外部の機器
から供給するようにしてもよい。
【0031】また、音声合成の方法は、フォルマント合
成方式に限らず、他の方式を採用してもよい。又、CP
Uに音声合成処理まで実行させてもよい。
【0032】
【発明の効果】以上詳述したように本発明によれば、楽
器演奏のために作成された、消音指示データを必ず含む
演奏データに基づいて音声合成を行うに際し、外部から
発音指示データが供給される毎に、歌詞記憶手段に記憶
された複数の音韻に対応する音声が順次合成され、該音
声合成中に、外部から消音指示データが供給されたとし
ても、この消音指示データによる消音指示は無視される
ので、もともと楽器演奏のために作成された演奏データ
を生かして自然な歌唱を行うことができる。
【図面の簡単な説明】
【図1】本発明の実施の一形態にかかる歌唱電子装置の
構成を示すブロック図である。
【図2】図1のデータメモリに記憶されるデータの構成
を示す図である。
【図3】図1のCPUで実行されるメインプログラムの
フローチャートである。
【図4】図3の演奏発音処理の手順を示すフローチャー
トである。
【図5】図3の演奏発音処理の手順を示すフローチャー
トである。
【符号の説明】
1 CPU 2 ROM 3 RAM 4 データメモリ 8 フォルマント音源 9 DA変換器 10 サウンドシステム

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 少なくとも発音指示データ及び消音指示
    データを含む演奏データであって、外部から供給され
    奏データを受信する受信手段と、複数の音韻で構成さ
    れる歌詞を記憶する歌詞記憶手段と、該記憶した歌詞に
    対応する音声を合成する音声合成手段とを備えた歌唱音
    声合成装置において、 前記音声合成手段は、前記受信手段から前記発音指示デ
    ータが供給される毎に、前記歌詞記憶手段に記憶された
    複数の音韻に対応する音声を順次合成し、該音声合成中
    に、前記受信手段から前記消音指示データが供給された
    としても該消音指示データによる消音指示を無視するこ
    とを特徴とする歌唱音声合成装置。
  2. 【請求項2】 息継ぎタイミングを示す息継ぎ情報を供
    給する息継ぎ情報供給手段を有し、 前記音声合成手段は、前記供給された息継ぎ情報が示す
    息継ぎタイミングにおいて前記消音指示データが供給さ
    れた場合には、当該タイミングにおいて合成中の音声を
    消音することを特徴とする請求項1記載の歌唱音声合成
    装置。
JP21649495A 1995-08-03 1995-08-03 歌唱音声合成装置 Expired - Fee Related JP3239706B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP21649495A JP3239706B2 (ja) 1995-08-03 1995-08-03 歌唱音声合成装置
US08/687,976 US5703311A (en) 1995-08-03 1996-07-29 Electronic musical apparatus for synthesizing vocal sounds using format sound synthesis techniques

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21649495A JP3239706B2 (ja) 1995-08-03 1995-08-03 歌唱音声合成装置

Publications (2)

Publication Number Publication Date
JPH0944179A JPH0944179A (ja) 1997-02-14
JP3239706B2 true JP3239706B2 (ja) 2001-12-17

Family

ID=16689318

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21649495A Expired - Fee Related JP3239706B2 (ja) 1995-08-03 1995-08-03 歌唱音声合成装置

Country Status (1)

Country Link
JP (1) JP3239706B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008170592A (ja) * 2007-01-10 2008-07-24 Yamaha Corp 歌唱合成のための装置およびプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3834804B2 (ja) * 1997-02-27 2006-10-18 ヤマハ株式会社 楽音合成装置および方法
JP4630918B2 (ja) * 2008-07-01 2011-02-09 武範 西 歌唱レベル判定方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008170592A (ja) * 2007-01-10 2008-07-24 Yamaha Corp 歌唱合成のための装置およびプログラム
JP4735544B2 (ja) * 2007-01-10 2011-07-27 ヤマハ株式会社 歌唱合成のための装置およびプログラム

Also Published As

Publication number Publication date
JPH0944179A (ja) 1997-02-14

Similar Documents

Publication Publication Date Title
JP2921428B2 (ja) カラオケ装置
JP3144273B2 (ja) 自動歌唱装置
JP3598598B2 (ja) カラオケ装置
JP3319211B2 (ja) 音声変換機能付カラオケ装置
JP2838977B2 (ja) カラオケ装置
JPH10105169A (ja) ハーモニーデータ生成装置およびカラオケ装置
JP4174940B2 (ja) カラオケ装置
JP2003099032A (ja) コード提示装置およびコード提示用コンピュータプログラム
JP3127722B2 (ja) カラオケ装置
JPH10319947A (ja) 音域制御装置
JP2000122674A (ja) カラオケ装置
JP4038836B2 (ja) カラオケ装置
JP3116937B2 (ja) カラオケ装置
JP3239706B2 (ja) 歌唱音声合成装置
JP3518253B2 (ja) データ編集装置
JPH10268895A (ja) 音声信号処理装置
JPH11338480A (ja) カラオケ装置
JP4300764B2 (ja) 歌唱音声を合成する方法および装置
JP3265995B2 (ja) 歌唱音声合成装置及び方法
JPH1078750A (ja) カラオケ装置
JP3233036B2 (ja) 歌唱音合成装置
JP2904045B2 (ja) カラオケ装置
JP3903492B2 (ja) カラオケ装置
JPH0895588A (ja) 音声合成装置
JP2002221978A (ja) ボーカルデータ生成装置、ボーカルデータ生成方法および歌唱音合成装置

Legal Events

Date Code Title Description
S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071012

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081012

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091012

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101012

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101012

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111012

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees