JP3144273B2

JP3144273B2 - 自動歌唱装置

Info

Publication number: JP3144273B2
Application number: JP21824195A
Authority: JP
Inventors: 慎一大田; 正志平野
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 1995-08-04
Filing date: 1995-08-04
Publication date: 2001-03-12
Anticipated expiration: 2015-08-04
Also published as: JPH0950287A; US5747715A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テキストデータの
形式で入力された歌詞データに基づいて対応する音素を
発音し、当該歌詞を人声音で歌唱するようになされた自
動歌唱装置に関する。

【０００２】

【従来の技術】一般に、音声合成技術は幅広い分野にお
いて利用されており、できるだけ自然な音声を出力する
ために各種の工夫がなされている。また、歌詞に対応す
る音素を発声するようになされた歌唱装置も提案されて
いる（例えば、特開昭５８−３７６９３号公報）。この
提案されている歌唱装置は、歌詞データを予め記憶して
おき、鍵盤などの操作により、前記歌詞データを順次読
み出して音声合成回路に入力し、歌詞データに対応する
音素を発音させるものであった。

【０００３】

【発明が解決しようとする課題】歌唱の場合は、テキス
トデータの読み上げなどの通常の音声合成の場合とは異
なり、発音した音節と次に発音する音節との間に無声部
があると歌唱としては不自然なものとなる場合があるこ
と、および、単一の音符に対して複数の音節を発音する
場合があることなどの歌唱特有の条件が存在している。
しかしながら、従来の装置においては、上述したような
歌唱特有の条件について十分な配慮がなされているもの
とは言えず、いかにも機械により発音された音声という
印象を与えるものであった。

【０００４】そこで、本発明は、より自然な歌声を発声
することができる自動歌唱装置を提供することを目的と
している。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に、本発明の自動歌唱装置は、歌詞シーケンスデータと
メロディシーケンスデータとを記憶し、前記メロディシ
ーケンスデータの読み出しに対応して前記歌詞シーケン
スデータを読み出し、前記歌詞シーケンスデータに対応
した音素を発音させて当該歌詞を歌唱させるように構成
された自動歌唱装置であって、前記歌詞シーケンスデー
タは、当該歌詞の各音節に対応するボイスイベントデー
タを有し、前記各ボイスイベントデータは、少なくと
も、発音する音節を指定する音韻指定データ、および、
一つの音符の発音期間内で発音すべき他の音節が存在し
ているときにその発音期間内にこのボイスイベントが占
める発音時間の割合を示すデータを含み、かつ、操作者
により編集することができるようになされているもので
ある。また、前記ボイスイベントデータは、子音を含む
音節を発音する場合における当該子音の発音時間を示す
子音発音時間データを含むものである。

【０００６】

【発明の実施の形態】図１は、本発明が実施される自動
歌唱装置のシステム構成の一例を示す図である。この図
において、１はこの電子楽器全体の制御を行う中央処理
装置（ＣＰＵ）、２は制御プログラムおよび各種のデー
タなどが格納されているＲＯＭ、３はワーク領域および
各種のバッファなどとして使用されるＲＡＭ、４はメロ
ディシーケンスデータ、歌詞シーケンスデータおよび音
声合成用のデータなどが格納されるデータメモリ、５は
機器の動作状態や入力データおよび操作者に対するメッ
セージなどを表示するための表示部である。６は歌詞デ
ータなどのテキストデータを入力するための文字テキス
ト入力操作部であり、たとえばＡＳＣＩＩキーボードな
どが用いられる。７はタイマー、８は鍵盤などからなる
演奏操作子、９は操作つまみや操作ボタンなどの各種設
定操作子である。

【０００７】１０は複数個の音源（Tone Generator，Ｔ
Ｇ）を有する音源部であり、音源部１０の各音源は、３
つの発音チャンネルFORMANT TG CH １０−１、１０−２
および１０−３に割り当てられている。なお、この例に
おいては、１０−１〜１０−３の３つの発音チャンネル
が設けられているが、発音チャンネルは少なくとも２つ
設けることができればよいものである。また、各音源は
楽音の発生も行うことができ、発音チャンネルとして割
り当てられていない音源は、楽音の発生に割り当てるこ
とができるものである。１３は音源部１０から出力され
るデータをデジタルアナログ変換するＤ／Ａ変換器であ
り、１４は、該Ｄ／Ａ変換器１３からの出力を増幅し、
音響信号に変換して出力するサウンドシステムである。
また、１５は装置内各部の間のデータ転送を行うための
バスである。

【０００８】図２に各発音チャンネル１０−１〜１０−
３の構成を示す。各発音チャンネル１０−１〜１０−３
は、音声合成を行うことのできるものであればどのよう
な方式によるものであってもよいが、ここでは、図２に
示すように、有声音（母音）の発音を受け持つ４個の音
源ＶＴＧ１〜４からなる有声音成分発音（ＶＴＧ）グル
ープ１１と、無声音（子音）の発音を受け持つ４個の音
源ＵＴＧ１〜４からなる無声音成分発音（ＵＴＧ）グル
ープ１２とからなるものを採用している。なお、このよ
うな音声合成装置は本出願人により既に提案されている
（特開平３−２００２９９号公報）。また、音源部は、
ＣＰＵによって音源プログラムを実行させること、即
ち、ソフトウエアで置き換えることも可能である。

【０００９】このように構成された発音チャンネル１０
−１〜１０−３において、有声音の発音を受け持つＶＴ
Ｇグループ１１の各音源ＶＴＧ１〜４は、当該音声の母
音部のフォルマントの特徴的な４つの部分をそれぞれ分
担して発生する。すなわち、各音源ＶＴＧ１〜４は、Ｃ
ＰＵ１から印加される有声音発音指示信号ＶＫＯＮによ
りその動作が開始され、ＣＰＵ１から有声音フォルマン
トデータVFRMNT DATAして供給される、フォルマント中
心周波数データ、フォルマントレベルデータ、およびフ
ォルマント帯域幅データにより、当該フォルマントの各
音源ＶＴＧが担当している部分の特性が制御されるもの
であり、これら各ＶＴＧ１〜４からのフォルマント出力
を合成することにより、当該音声の母音部が生成される
ものである。また、各音源ＶＴＧ１〜４のピッチ周波数
を制御することにより、発生される音声の音高が制御さ
れる。

【００１０】一方、無声音の発音を受け持つＵＴＧグル
ープ１２の各音源ＵＴＧ１〜４は、当該音声の子音部を
分担して発音するものである。すなわち、各音源ＵＴＧ
１〜４は、ＣＰＵ１から印加される無声音発音指示信号
ＵＫＯＮによりその動作が開始され、ＣＰＵ１から供給
される無声音フォルマントデータUFRMNT DATA に含まれ
ている各パラメータにより、音源により発音したホワイ
トノイズにそれぞれが分担している帯域通過特性あるい
はフォルマント特性を付加して出力する。そして、これ
ら各ＵＴＧ１〜４からの出力を合成することにより、当
該音声の子音部が生成されるものである。

【００１１】このように構成された発音チャンネル１０
−１〜１０−３を用いて音声を出力させる場合、制御部
であるＣＰＵ１は、まず、使用する発音チャンネルを指
定し、該発音チャンネルの無声音成分発音グループ１２
に対して、無声音フォルマントデータUFRMNT DATA によ
り所定のパラメータを供給するとともに、無声音発音指
示信号ＵＫＯＮを印加する。そして、有声音成分発音グ
ループ１１に対して有声音フォルマントデータVFRMNT D
ATA により所定のパラメータを供給し、無声音の発音時
間経過後に有声音発音指示信号ＶＫＯＮを印加する。こ
れにより、無声音成分発音グループ１２により子音が発
音され、それに続けて、有声音成分発音グループ１１に
より母音が発音される。この無声音成分発音グループ１
２の出力と有声音成分発音グループ１１の出力は加算手
段１６により加算されて、当該音声合成出力が得られ
る。

【００１２】また、この発音時間中、子音から母音に変
化するときや、アクセントを付けるために声の高さを変
更するときなどに、発生するフォルマントを連続的に変
化させることが自然な発声に聞こえるために重要であ
る。したがって、前述したフォルマント中心周波数、フ
ォルマントレベル、フォルマント帯域幅およびピッチ周
波数などの各パラメータを、所定時間間隔で（例えば、
数ミリ秒程度の間隔で）、制御部であるＣＰＵ１から逐
次送出して制御すること、あるいは、各音源に含まれて
いるエンベロープジェネレータにより前記各パラメータ
を逐次制御させることが行われる。

【００１３】さらに、上述したように少なくとも２つの
発音チャンネルを用いることにより、一つの音節を発音
した後に次の音節を発音させる場合に、現在発音してい
る発音チャンネルをキーオフし、別の発音チャンネルを
用いて次の音節を発音させることにより、音のつながり
時における雑音や不自然な発音を防ぐことができるよう
になる。

【００１４】さらにまた、歌唱の場合には、息継ぎが入
らない限りは、前の音節と次の音節とを連続して発音す
るのが通常であり、一方、メロディシーケンスデータの
場合は、実際には音符長分全部を発音せず、音符と音符
との間に鍵盤の押し変えなどによる空白時間が存在して
いるのが通常である。そこで、歌詞データを発音すると
きは、メロディシーケンスデータにおける音符と音符と
の間の空白時間に無関係に、音符と音符とを連続させ、
スラー的に発音させることにより、人間の歌唱の場合と
同様な自然な発声が可能となる。

【００１５】図３を用いて、本発明の自動歌唱装置に入
力されるデータについて説明する。図３に示すように、
歌唱データａは音符により表される演奏データｃと歌詞
データｂとからなる。演奏データｃは、通常の電子楽器
の場合と同様に、演奏操作子の操作やデータの打ち込み
などにより、図に示すように、例えば、ＭＩＤＩコード
などのメロディシーケンスデータとして入力され、デー
タメモリ４に格納される。

【００１６】また、歌詞データｂは、図に示すように、
文字テキスト入力操作部６から、通常のワードプロセッ
サなどにおける文字入力の場合と同様にテキストコード
で入力される。ただし、歌詞テキストデータはローマ字
表記により入力するものとし、また、音符と歌詞との関
連を持たせるために、音符の区切りを示す区切り記号を
付加して入力するものとされている。この区切り符号と
してはスペースなどを使用することができ、例えば、１
つの４分音符に対して「さい」と２音節歌唱させる場合
には、' ｓａ''ｉ''＿' と入力する。このようにして入
力される歌詞テキスト入力データは、後述するように、
ＲＡＭ３における歌詞テキスト入力バッファ領域TXTBUF
に格納される。

【００１７】次に、本発明の自動歌唱装置において使用
される各種データについて説明する。図４の（ａ）は、
ＲＡＭ３のメモリマップを示す図であり、ＣＰＵ１によ
り使用されるＣＰＵワーキングエリア、歌詞テキストバ
ッファTXTBUF、および、歌詞テキスト入力バッファTXTB
UFに格納された歌詞テキスト入力データを解析・変換す
ることにより得られる歌詞シーケンスデータを格納する
ための歌詞シーケンスデータバッファLYRIC DATA BUFの
ための領域が確保されている。

【００１８】ＣＰＵワーキングエリアには、PLAYONフラ
グ、DUR レジスタ、SLURフラグおよびCTIME BUF などの
領域が確保されている。PLAYONフラグは、この装置が演
奏中であるか否かを示すフラグであり、演奏中のときに
「１」にされ、演奏中でないときに「０」にされる。DU
R レジスタは、後述するメロディシーケンスデータ中に
含まれるデュレーションデータDURATIONが記憶される領
域である。SLURフラグは、後述するように単一の音符の
発音時間の中で複数の音節が発音される場合に「１」に
されるフラグである。CTIME BUF は、後述する子音の発
音時間データが格納される領域である。

【００１９】また、歌詞テキスト入力バッファTXTBUF
は、前述したように、文字テキスト入力操作部６から入
力される、区切り記号により区切られた歌詞テキストデ
ータが格納される領域である。そして、この歌詞テキス
トデータは、ＣＰＵ１により音素辞書を参照するなどし
て各音素データに分解され、歌詞シーケンスデータLYRI
C DATAに変換される。歌詞シーケンスデータバッファLY
RIC DATA BUFは、このようにして変換された歌詞シーケ
ンスデータLYRIC DATAが格納される領域である。そし
て、この歌詞シーケンスデータバッファLYRIC DATA BUF
に格納された歌詞シーケンスデータLYRIC DATAは、デー
タメモリ４に転送される。

【００２０】なお、歌詞シーケンスデータバッファLYRI
C DATA BUFを設けることなく、歌詞テキスト入力バッフ
ァTXTBUFの内容から変換された歌詞シーケンスデータLI
RICDATAをデータメモリ４の対応する領域に直接書き込
むように構成してもよい。

【００２１】次に、データメモリ４に格納される各デー
タの詳細について、図４の（ｂ）〜図６を参照して説明
する。図４の（ｂ）は、データメモリ４のメモリマップ
を示す図である。この図に示すように、データメモリ４
は、各音節に対応するフォルマントデータFRMNT DATAａ
〜ｚが格納されているフォルマントデータ格納領域Ａ、
各楽曲の歌詞シーケンスデータLYRIC DATAが格納されて
いる歌詞シーケンスデータ格納領域Ｂおよび各楽曲のメ
ロディシーケンスデータMELODY SEQ DATA が格納されて
いるメロディシーケンスデータ格納領域Ｃの３つの領域
に大別される。

【００２２】フォルマントデータ格納領域Ａには、各音
節に対応するフォルマントデータがFRMNT DATAａからFR
MNT DATAｚまで格納されている。この各フォルマントデ
ータFRMNT DATAは、図５の（ａ）に示すように、有声音
成分発音グループ１１の各音源ＶＴＧ１〜４にそれぞれ
供給される有声音フォルマントデータVFRMNT１〜４、無
声音成分発音グループ１２の各音源ＵＴＧ１〜４にそれ
ぞれ供給される無声音フォルマントデータUFRMNT１〜４
および発音時に均一な大きさの音になるようにするため
のボリューム補正データなどの補足データMISCからな
る。なお、当該音節が母音のみからなる音節の場合に
は、無声音フォルマントデータUFRMNT DATA〜４には空
データが入っている。

【００２３】各有声音フォルマントデータVFRMNT１〜４
および各無声音フォルマントデータUFRMNT１〜４は、い
ずれも、図５の（ｂ）に示すフォーマットを有してお
り、フォルマント中心周波数データFRMNT FREQ、フォル
マントレベルデータFRMNT LVLフォルマント帯域幅デー
タFRMNT BWおよびフォルマントの補足データFRMNT MISC
とからなる。そして、フォルマント中心周波数データFR
MNT FREQには、図５の（ｃ）に示すように、FRMNT FRQ
１〜FRMNT FRQ ｌのｌ個のフォルマント中心周波数デー
タが格納されており、これらのデータはフレームタイミ
ング毎に順次読み出されて、前記ＶＴＧグループ１１ま
たはＵＴＧグループ１２の対応する音源に印加される時
系列データである。

【００２４】また、フォルマントレベルデータFRMNT LV
L およびフォルマント帯域幅データFRMNT BWについて
も、図５の（ｄ）および（ｅ）に示すように、それぞ
れ、FRMNT LVL １〜FRMNT LVL ｌおよびFRMNT BW１〜FR
MNT BWｌのｌ個の時系列データが格納されており、これ
らのデータも順次読み出されて前記ＶＴＧグループ１１
またはＵＴＧグループ１２の対応する音源に印加され
る。このように構成することにより、時間的に変動する
フォルマントデータを再生することができる。

【００２５】なお、これらの時系列データを時間的に粗
に記憶しておき、途中の時間については補間演算により
実際の制御パラメータを発音させるようにすること、あ
るいは、前の時間のデータと同じ場合には同じデータの
格納を省略するなどの方法により、記憶容量を圧縮する
ようにしてもよい。さらに、フォルマント補足データFR
MNT MISCには、例えば、ビブラートや揺らぎのようなエ
フェクトを付加するためのデータが記憶されている。

【００２６】歌詞シーケンスデータ格納領域Ｂには、前
述したＲＡＭ３の歌詞シーケンスデータバッファLYRIC
DATA BUFから転送された歌詞シーケンスデータLYRIC DA
TAが格納されている。この各歌詞シーケンスデータLYRI
C DATAは、図６の（ｆ）に示すように、当該歌詞の名称
LYRICNAME 、当該歌詞の各音節に対応するボイスイベン
トデータVEVENT１〜VEVENTｍおよび当該歌詞シーケンス
データLYRIC DATAの終了を示すエンドコードEND からな
っている。

【００２７】各ボイスイベントデータVEVENT１〜ｍは、
図６の（ｇ）に示すように、発音する音節を指定する音
韻指定データVOICE INDEX 、子音を含む音節を発音する
場合に当該子音の発音時間を表す子音発音時間データCO
NSO TIME、当該音節の後に息継ぎをするか否かを示す呼
気指定フラグBREATH FLG、一つの音符の発音期間内、す
なわち、同一キーオンイベント内で発音すべき他の音節
が後続しているか否かを示す連続発音指定フラグLSLUR
FLG 、および、同一キーオンイベント内で発音すべき他
の音節が存在しているときに、該キーオンイベントの継
続時間（DURATIN TIME）の内にこのボイスイベントが占
める発音時間の割合を示す発音持続レートデータDUR RA
TEが含まれている。すなわち、同一キーオンイベント内
で発音すべき他の音節があるときには、このボイスイベ
ントの音節が発音される期間ｄは、ｄ＝（DURATION）×
（DUR RATE）により規定され、後続するボイスイベント
はｄ時間後にその発音を開始されることとなる。

【００２８】メロディシーケンスデータ格納領域Ｃに
は、各楽曲のメロディシーケンスデータMELODY SEQ DAT
A が格納されている。各メロディシーケンスデータMELO
DY SEQDATA は、図６の（ｈ）に示すように、当該楽曲
の曲名TITLENAME 、各イベントデータEVENT １〜EVENT
ｎおよび当該メロディシーケンスデータMELODY SEQ DAT
A の終了を示すエンドコードEND からなっている。各イ
ベントデータEVENT １〜ｎは、通常の自動演奏データと
同一のものであり、図６の（ｉ）に示すように、キーオ
ンまたはキーオフのいずれかの命令コードが格納されて
いるステイタスバイトSTATUS（KEYON ／OFF ）、キーコ
ード情報KEYCODE およびタッチ情報TOUCHどからなるキ
ーイベント情報と、イベントとイベントの間の時間情報
であるデュレーションデータDURATIONとが交互に格納さ
れているものである。なお、キーオンイベントにおい
て、タッチ情報TOUCH ＝０のときはキーオフイベント
（KEYOFF）として取り扱われるようになっている。

【００２９】このように、メロディシーケンスデータME
LODY SEQ DATA と歌詞シーケンスデータLYRIC DATAとが
独立してデータメモリ４に格納されているので、すでに
蓄積されているメロディシーケンスデータMELODY SEQ D
ATA に対応する歌詞シーケンスデータLYRIC DATAを後か
ら格納することが可能となり、過去に格納したメロディ
シーケンスデータMELODY SEQ DATA を有効に利用するこ
とができる。また、メロディシーケンスデータMELODY S
EQ DATA と歌詞シーケンスデータLYRIC DATAとは必ずし
も１対１の対応関係とする必要はなく、例えば、一つの
メロディシーケンスデータMELODY SEQ DATA に対して、
複数の歌詞シーケンスデータLYRIC DATAを対応させた
り、あるいは、その逆の関係とすることも可能であり、
替え歌を歌唱させることも可能である。

【００３０】このように構成された自動歌唱装置におけ
る動作について、図７〜図１２のフローチャートを参照
しつつ説明する。図７に、ＣＰＵ１により実行されるメ
インプログラムのフローチャートを示す。なお、煩雑さ
を避けるために、このメインプログラムにおいては、本
発明に関係する演奏モードと歌詞編集モードの２つの動
作モードにおける処理についてのみ記載してあるが、実
際には、メロディシーケンスデータの入力および編集処
理などのその他の処理も、後述する発音処理４００と操
作イベント検出処理１０１との間に挿入されて実行され
るようになされている。

【００３１】さて、動作が開始されると、まず、ステッ
プ１００において装置の初期設定が行われる。続いて、
ステップ１０１において、文字テキスト入力操作部６、
演奏操作子８あるいは設定操作子９などからの操作イベ
ントがあるか否かが検出され、ステップ１０２におい
て、検出された操作イベントに対応して演奏する曲の指
定など各種のパラメータの設定処理が行われる。次い
で、ステップ１０３において、当該操作イベントがモー
ドに関する操作である場合には、それに対応して演奏モ
ードであるか歌詞編集モードであるかのモードの設定管
理が行われる。

【００３２】続いて、ステップ１０４において、現在の
動作モードが演奏モードであるか否かが判定され、演奏
モードのときはステップ２００の演奏処理に進み、ま
た、演奏モードでないときは、歌詞編集モードであるか
ら、ステップ３００の歌詞編集処理に進む。そして、ス
テップ２００の演奏処理あるいはステップ３００の歌詞
編集処理が終了した後に、ステップ４００の発音処理が
実行され、再びステップ１０１の操作イベント検出処理
に戻る。以下、これらの処理が繰り返されることとな
る。

【００３３】ステップ２００の演奏処理の詳細につい
て、図８〜図１０を参照して説明する。ステップ２００
の演奏処理に入ると、まず、ステップ２０１において、
現在装置が演奏中であるか否かを、ＲＡＭ３の中のPLAY
ONフラグを参照することにより判定する。このPLAYONフ
ラグが「０」、すなわち、非演奏中のときは、ステップ
２０２に進み、図７に示したメインプログラムにおける
操作イベント検出処理１０１において検出された操作イ
ベントが歌唱スタートイベントであるか否かが判定され
る。この判定結果がＮＯのときは、演奏処理２００を終
了する。

【００３４】また、前記ステップ２０１の判定結果がＮ
Ｏ、すなわち、現在演奏中であるときには、ステップ２
４２に進み、前述したステップ１０１で検出された操作
イベントが演奏ストップイベントであるか否かが判定さ
れる。この判定結果がＹＥＳのときはステップ２４３に
進み、前記PLAYONフラグを「０」にリセットし、演奏終
了処理を行って、演奏処理２００を終了する。また、こ
のステップ２４２の判定結果がＮＯのときは後述するス
テップ２０４に進む。

【００３５】さて、前記ステップ２０２の判定結果がＹ
ＥＳのとき、すなわち、当該イベントが歌唱スタートイ
ベントであるときは、ステップ２０３に進み、音符の間
隔、すなわち、デュレーションの時間を計数しているDU
RATIONタイマーをリセットし、ボイスイベントポインタ
ｍおよびメロディイベントポインタｎを、それぞれ、
「１」にセットするとともに、ＲＡＭ３中のPLAYONフラ
グを「１」にセットする。ここで、ボイスイベントポイ
ンタｍは、データメモリ４の歌詞シーケンスデータ格納
領域Ｂ中に格納されている対応する歌詞シーケンスデー
タLYLIC DATA中のボイスイベントデータVEVENTの読み出
し位置を指定するポインタであり、メロディイベントポ
インタｎは、データメモリ４のメロディシーケンスデー
タ格納領域Ｃに格納されている対応する楽曲のメロディ
シーケンスデータMELODY SEQ DATAのイベントデータEVE
NT の読み出し位置を指定するポインタである。

【００３６】次いで、ステップ２０４が実行される。こ
のステップ２０４は、前記ステップ２０３の実行後、あ
るいは、前記したように、演奏中（ステップ２０１の結
果がＮＯ）において当該操作イベントが演奏ストップイ
ベント以外のイベント（ステップ２４２の結果がＮＯ）
であるときに実行される。ステップ２０４においては、
DURATIONタイマーにおけるデュレーションデータの計数
が完了したか否かが判定される。この判定結果がＮＯの
ときは、演奏処理２００は終了される。一方、DURATION
タイマーがリセットされた状態にあったり、あるいは、
デュレーションデータDURATIONの計数が完了していて、
この判定結果がＹＥＳとなるときは、ステップ２０５に
進む。

【００３７】ステップ２０５において、ＲＡＭ３中のSL
URフラグが「０」となっているか否かが判定される。前
述したように、SLURフラグは、同一キーオンイベント期
間中に複数の音節を発音する場合に「１」にされるフラ
グであるから、このステップ２０５の判定結果がＹＥＳ
のときは同一キーオンイベント期間中に発音すべき他の
音節がないことを示し、ＮＯのときは同一キーオンイベ
ント期間中に発音すべき他の音節が存在していることを
示している。そして、この判定結果がＮＯのときは、次
に説明するステップ２０６からステップ２０９の処理を
行わずに、後述するステップ２１０に進み、ＹＥＳのと
きはステップ２０６に進む。

【００３８】ステップ２０６において、データメモリ４
のメロディシーケンスデータ格納領域Ｃのメロディイベ
ントポインタｎにより指定される位置から対応するメロ
ディシーケンスデータMELODY SEQ DATA に含まれている
イベントデータEVENT ｎが読み出される。前述したよう
に、メロディシーケンスデータMELODY SEQ DATA から読
み出されるデータは、キーイベントデータ、デュレーシ
ョンデータあるいはEND コードのいずれかである。そし
て、ステップ２０７において、該読み出したイベントデ
ータEVENT ｎがキーイベントデータであるか否かが判定
される。この判定結果がＹＥＳのときは、ステップ２０
８において、現在の動作モードが歌唱モードであるか否
かが判定され、その判定結果がＹＥＳのときは、ステッ
プ２０９において、そのキーイベントデータがKEYON イ
ベントであるか否かが判定される。

【００３９】ステップ２０９の判定結果がＹＥＳのとき
は、ステップ２１０に進みデータメモリ４の歌詞シーケ
ンスデータ格納領域Ｂ中のボイスイベントポインタｍに
より指定される位置から歌詞シーケンスデータLYRIC
DATA中のボイスイベントデータVEVENTｍを読み出す。続
いて、図９に示すステップ２１１に進み、ステップ２１
０において読み出したボイスイベントデータVEVENTｍ中
のLSURフラグが「０」であるか否かが判定される。

【００４０】この判定結果がＹＥＳのときは、ステップ
２１２において、前のボイスの発音状態、すなわち、現
在歌詞を発音中であるか否かをチェックする。そして、
ステップ２１３において、前のボイスに対応する発音チ
ャンネルが発音中であるか否かが判定され、現在前の音
声を発音中であるときは、ステップ２１４において、該
発音中の発音チャンネルに対してKEYOFFを出力してか
ら、一方、発音中の音声がないときは、直接にステップ
２１５に進む。そして、ステップ２１５において、音源
部FORMANT TG１０の空きチャンネルを探し、そのチャン
ネルをこのボイスイベントに対応する音節に対応する発
音を行うために割り当てる。

【００４１】そして、ステップ２１６に進み、ステップ
２１５において割り当てられた発音チャンネルFORMANT
TG CH に対し、当該ボイスイベントデータVEVENTｍ中に
記載されているVOICE INDEX ｍにより指定されるフォル
マントデータFRMNT DATAを用い、KEYON 信号を出力す
る。またそれと同時に、当該VEVENTｍに含まれている子
音発音時間データCONSO TIMEｍをＲＡＭ３中のCTIME BU
F に書き込む。これらステップ２１２〜ステップ２１６
により、新しい音節を発音する段階でその前に発音され
ている音節に対するキーオフが行われることとなる。

【００４２】続いて、ステップ２１７において、メロデ
ィイベントポインタｎをｎ＋１に更新し、ステップ２１
８に進む。ステップ２１８において、ＲＡＭ３中のSLUR
フラグを参照し、それが「０」であるか否かが判定され
る。この判定結果がＹＥＳのときは、演奏処理２００を
終了する。SLURフラグが「１」のときは、図１０のステ
ップ２１９に進み、ＲＡＭ３のDUR に格納されている値
に当該ボイスイベントデータVEVENTｍ中に記載されてい
る発音持続レートデータDUR RATEｍの値を乗算し、その
結果を設定デュレーション値として、DURATIONタイマの
カウントをスタートさせる。そして、ステップ２２０に
おいて、ＲＡＭ３中のSLURフラグを「０」にリセット
し、演奏処理２００を終了する。

【００４３】また、前述したステップ２１１の判定結果
がＮＯのとき、すなわち、当該ボイスイベントデータVE
VENTｍ中のLSURフラグが「１」となっており、同一キー
オンイベント内で発音すべき音節が後続していることが
示されているときには、図１０のステップ２２１に進
む。このステップ２２１において前のボイスの発音状態
がチェックされ、ステップ２２２において、前のボイス
に対応する音声チャンネルが発音状態であるか否かが判
定され、発音状態にあるときにはステップ２２３におい
て該発音チャンネルに対しKEYOFF信号を出力した後、一
方、発音状態にないときには直接にステップ２２４に進
む。

【００４４】このステップ２２４において、音源部FORM
ANT TG１０の空きチャンネルを探し、そのチャンネルを
当該音節の発音を行うために割り当てる。そして、ステ
ップ２２５において、該割り当てられた発音チャンネル
に対し、当該ボイスイベントデータVEVENTｍ中に記載さ
れているVOICE INDEX ｍにより指定されるフォルマント
データFRMNT DATAを用い、KEYON 信号を出力する。ま
た、それと同時に、当該EVENT ｍに含まれている子音発
音時間データCONSO TIMEｍをＲＡＭ３内のCTIMEBUF に
書き込む。以上のステップ２２１〜２２５は前述したス
テップ２１２〜２１６と同様である。

【００４５】ステップ２２５の処理が終了した後、続い
て、ステップ２２６が実行される。このステップ２２６
において、ＲＡＭ３のSLURフラグが「０」であるか否か
が判定される。この結果、SLURフラグが「０」のとき、
すなわち、同一キーオンイベント内で発音する音節がな
いときは、ステップ２２７に進み、メロディイベントポ
インタｎをｎ＋１に更新し、続いて、該更新されたイベ
ントポインタにより指定されるイベントデータEVENT ｎ
に含まれているデュレイションデータDURATIONをＲＡＭ
３のDUR レジスタに記憶する。そして、ステップ２２９
において、該DUR レジスタの値とボイスイベントデータ
VEVENTｍに含まれている発音持続レートデータDUR RATE
ｍの値とを乗算し、その値を設定デュレーション値とし
てDURATIONタイマのカウントをスタートさせる。

【００４６】また、前記ステップ２２６における判定結
果がＮＯのときは、ステップ２２７とステップ２２８を
実行することなく、上記ステップ２２９を実行する。ス
テップ２２９が終了した後にステップ２３０が実行さ
れ、ＲＡＭ３のSLURフラグが「１」にセットされ、ボイ
スイベントポインタの値がｍ＋１に更新され、演奏処理
２００を終了する。

【００４７】さて、前述したステップ２０９の判定処理
結果がＮＯとなったとき、すなわち、KEYEVENTデータが
KEYON イベントではなかったときは、KEYOFFイベントで
あるから、図９のステップ２３１に進む。このステップ
２３１において、現在発音中のボイスイベントVEVENTｍ
に含まれているデータのチェックを行い、ステップ２３
２において、該VEVENTｍ中の呼気指定フラグBREATH FLG
に「１」が立っているか否かが判定される。この判定結
果がＹＥＳのときは、ステップ２３３において発音中の
発音チャンネルに対してKEYOFF信号を出力した後、一
方、ステップ２３２の結果がＮＯのときは直接に、ステ
ップ２３４に進み、メロディイベントポインタｎの値を
ｎ＋１に、また、ボイスイベントポインタｍの値をｍ＋
１に、それぞれ、更新し、演奏処理２００を終了する。
これにより、KEYOFFイベントを読み出したときに、息継
ぎ指定があるときは発音中の音節の発声は停止される
が、息継ぎ指定がないときにはキーオフが無視されて発
音中の音声に対しる発声の停止が行われないこととな
る。

【００４８】なお、、前述したステップ２０８の判定結
果がＮＯのとき、すなわち、現在歌唱モードにないとき
はメロディ演奏モードにあるから、ステップ２３５に進
み、所定の音色で対応するKEYON あるいはKEYOFF処理を
行い、メロディイベントポインタｎを更新し、演奏処理
２００を終了する。すなわち、ボイスイベントポインタ
ｍによる歌詞シーケンスデータLYRIC DATAの読み出しは
行われない。

【００４９】また、前述のステップ２０７の判定結果が
ＮＯのときは、ステップ２３６において、読み出された
イベントデータEVENT ｎがデュレーションデータDURATI
ONであるか否かが判定される。この判定結果がＹＥＳの
ときは、ステップ２３７に進み、該ステップ２３７にお
いて、該デュレーション値を設定値としてDURATIONタイ
マーのカウントをスタートさせ、次いで、ステップ２３
８において、メロディイベントポインタｎの値をｎ＋１
に更新して、演奏処理２００を終了する。

【００５０】さらにまた、ステップ２３６の判定結果が
ＮＯのときは、ステップ２３９に進み、当該イベントデ
ータEVENT ｎがEND コードであるか否かが判定される。
この判定結果がＮＯのときはそのまま演奏処理２００を
終了する。また、このステップ２３９の判定結果がＹＥ
Ｓのときは、ステップ２４０においてＲＡＭ３のPLAYON
フラグを「０」にリセットし、ステップ２４１において
演奏終了処理を実行して、演奏処理２００を終了する。

【００５１】次に、図１１を参照しつつ、歌詞編集処理
３００について説明する。前述したように、図７におけ
るメインプログラムにおけるステップ１０４の判定結果
がＮＯのときは、歌詞編集モードであると判断され、歌
詞編集処理３００が実行される。この歌詞編集処理にお
いては、まず、ステップ３０１において、歌詞編集処理
におけるモードの管理が行われ、ステップ３０２におい
て、歌詞テキスト入力モードであるか否かが判定され
る。この判定結果がＮＯのときは、ステップ３０７にお
いて、前述したＲＡＭ３中の歌詞シーケンスデータバッ
ファLYRIC DATA BUF編集モードであるか否かが判定され
る。この判定結果がＮＯのときは、ステップ３０９に進
み、ユーティリティモードであるか否かが判定され、こ
の判定結果もＮＯのときは歌詞編集処理３００を終了す
る。

【００５２】さて、前記ステップ３０２の判定結果がＹ
ＥＳのとき、すなわち、歌詞テキスト入力モードである
ときは、ステップ３０３に進み、文字テキスト入力操作
部６から入力される歌詞テキストデータをＲＡＭ３中の
歌詞テキストバッファTXTBUFに記憶する。続いて、ステ
ップ３０４において歌詞テキストデータの入力が完了し
たか否かが判定され、未だ完了していないときは歌詞編
集処理３００を終了する。また、ステップ３０４の判定
結果がＹＥＳのときは、次にステップ３０５に進み、歌
詞シーケンスデータLYRIC DATAの作成をするか否かを操
作者に問い合わせ、それに対して歌詞シーケンスデータ
LYRIC DATAの作成が指示されたか否かが判定される。こ
の判定結果がＮＯのときはこのまま歌詞編集処理３００
を終了する。

【００５３】ステップ３０５の判定結果がＹＥＳ、すな
わち、歌詞シーケンスデータLYRICDATAの作成が指示さ
れているときは、ステップ３０６に進み、歌詞テキスト
バッファTXTBUFの内容を音素辞書を参照するなどして歌
詞シーケンスデータLYRIC DATAに変換し、ＲＡＭ３中の
歌詞シーケンスデータバッファLYRIC DATA BUFに格納す
る。そして、歌詞編集処理３００を終了する。

【００５４】ステップ３０７の判定結果がＹＥＳ、すな
わち、歌詞シーケンスデータバッファLYRIC DATA BUF編
集モードであるときは、ステップ３０８に進み、ユーザ
により指定されたボイスイベントVEVENTに含まれている
音韻指定データVOICE INDEX子音発音時間データCONSO T
IME、呼気指定フラグBREATH FLG、連続発音指定フラグL
SLUR FLG および発音持続レートデータDUR RATEの各デ
ータの編集処理を行う。これにより、操作者は、歌詞シ
ーケンスデータLYRIC DATAを任意に編集することがで
き、自由度の高い歌唱制御を行うことが可能となる。

【００５５】例えば、このステップ３０８の各種データ
対応編集処理において、連続発音指定フラグLSLUR FLG
を「１」にセットすると、当該ボイスイベントの次にあ
るボイスイベントを同一のキーイベント（音符）内で発
音させることとなる。具体的には、「さ」という音節と
「い」という音節が連続している場合において、同一キ
ーイベント内で「さい」という２つの音節を発音させよ
うとするときは、操作者は「さ」に対応するボイスイベ
ントVEVENTの連続発音指定フラグLSLUR FLG を「１」に
セットし、その発音持続レートデータDUR RATEの値を入
力する。すると、これに応じて、ステップ３０８の編集
処理により、LSLUR FLG が「１」にセットされたボイス
イベントに後続するボイスイベント、今の場合は「い」
に対応するボイスイベントVEVENTの発音持続レートDUR
RATEが、操作者により入力された「さ」に対応するボイ
スイベントの発音持続レートデータDUR RATEの値を１か
ら減算した値にセットされる。すなわち、連続発音指定
フラグLSLUR FLG によりつながれたボイスイベントのDU
R RATEの値の総和が１となるように自動的に設定編集が
なされるものである。

【００５６】さて、ステップ３０９の判定結果がＹＥ
Ｓ、すなわち、ユーティリティモードであるときは、ス
テップ３１０に進み、歌詞シーケンスデータバッファLY
RIC DATA BUFに格納されているデータのデータメモリ４
のLYRIC DATA領域への格納などの処理が行われる。

【００５７】次に、発音処理４００について、図１２を
参照しつつ説明する。図７のメインプログラムにおいて
説明したように、発音処理４００は、演奏処理２００あ
るいは歌詞編集処理３００が実行された後に実行され
る。この発音処理４００においては、対応する発音チャ
ンネルの各ＴＧ（ＶＴＧ１〜４およびＵＴＧ１〜４）に
対応するパラメータを各フレームタイム毎に供給し、時
間的に変化する音韻が発音されるように制御が行われ
る。この発音処理４００に入ると、まず、ステップ４０
１において、キーオンイベントであるか否かが判定され
る。この判定結果がＮＯのときはキーオフイベントであ
るから、ステップ４０８において該当チャンネルのキー
オフ処理が行われ、発音処理４００は終了される。

【００５８】ステップ４０１の判定結果がＹＥＳのと
き、すなわち、キーオンイベントのときは、ステップ４
０２において、発音すべき音素がチェックされ、ステッ
プ４０３において、発音すべき音素が子音付の音素であ
るか否かが判定される。この判定結果がＮＯのときは、
母音からなる音素であるから、後述するステップ４０７
に進む。ステップ４０３の判定結果がＹＥＳのときは、
ステップ４０４に進み、子音の発音時間が完了したか否
かが判定される。

【００５９】この判定結果がＹＥＳのときは、ステップ
４０５に進み、発音が指定されている音素、すなわち、
音韻指定データVOICE INDEX ｍ＝ｘにより指定されてい
るフォルマントデータFRMNT DATAｘに含まれている無声
音フォルマントデータUFRMNT１〜４を、ＵＴＧグループ
１２の音源ＵＴＧ１〜４に、それぞれ、供給し、ＲＡＭ
３のCTIME BUF に設定されている時間だけ発音処理さ
せ、発音処理４００を終了する。

【００６０】前記ステップ４０４の判定結果がＮＯのと
き、すなわち、子音発音時間が完了していないときは、
ステップ４０６に進み、無声音成分発音（ＵＴＧ）グル
ープ１２をキーオフする。次に、ステップ４０７に進
み、音韻指定データVOICE INDEX ｍ＝ｘで指定されるフ
ォルマントデータFRMNT DATAｘに含まれている有声音フ
ォルマントデータVFRMNT１〜４を、有声音成分発音（Ｖ
ＴＧ）グループ１１の音源ＶＴＧ１〜４に、それぞれ、
供給して、母音成分の発声処理を行い、発音処理４００
を終了する。

【００６１】なお、以上の説明においては、発生する音
声の音程の制御については説明を省略したが、メロディ
シーケンスデータMELODY SEQ DATA に含まれているKEYC
ODEより、各ＴＧのピッチ周波数を制御することにより
容易に制御することができる。

【００６２】

【発明の効果】本発明は以上のように構成されているの
で、一つの音符を発音する時間内に複数の音節データを
発音することができ、人間の自然な歌唱と同様の歌唱を
行う自動歌唱装置を提供することができる。また、歌詞
における子音の発音時間を設定する手段を設けた本発明
によれば、母音の発音時間は音符長により変化するもの
の、子音の発音時間は設定された時間により規定されて
いるため、より自然の発音に近い歌唱をおこなう自動歌
唱装置を提供することができる。

【図面の簡単な説明】

【図１】本発明が実施される自動歌唱装置のシステム
構成の一例を示す図である。

【図２】発音チャンネルの構成を示す図である。

【図３】本発明の自動歌唱装置に入力されるデータを
説明するための図である。

【図４】ＲＡＭおよびデータメモリのメモリマップを
示す図である。

【図５】フォルマントデータを説明するための図であ
る。

【図６】歌詞シーケンスデータを説明するための図で
ある。

【図７】メインプログラムの動作を説明するためのフ
ローチャートである。

【図８】演奏処理の内容を説明するためのフローチャ
ートである。

【図９】演奏処理の内容を説明するためのフローチャ
ートである。

【図１０】演奏処理の内容を説明するためのフローチ
ャートである。

【図１１】歌詞編集処理の内容を説明するためのフロ
ーチャートである。

【図１２】発音処理の内容を説明するためのフローチ
ャートである。

【符号の説明】

１中央処理装置、２ＲＯＭ、３ＲＡＭ、４デー
タメモリ、５表示部、６文字テキスト入力操作部、
７タイマー、８演奏操作子、９設定操作子、１０
音源部、１０−１〜３発音チャンネル、１１有声
音成分発音（ＶＴＧ）グループ、１２無声音成分発音
（ＵＴＧ）グループ、１３Ｄ／Ａ変換器、１４サウ
ンドシステム、１５バス、１６加算手段

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10L 13/00 - 13/08 G10K 15/04 G10H 7/00

Claims

(57)【特許請求の範囲】

【請求項１】歌詞シーケンスデータとメロディシーケ
ンスデータとを記憶し、前記メロディシーケンスデータ
の読み出しに対応して前記歌詞シーケンスデータを読み
出し、前記歌詞シーケンスデータに対応した音素を発音
させて当該歌詞を歌唱させるように構成された自動歌唱
装置であって、前記歌詞シーケンスデータは、当該歌詞の各音節に対応
するボイスイベントデータを有し、前記各ボイスイベントデータは、少なくとも、発音する
音節を指定する音韻指定データ、および、一つの音符の
発音期間内で発音すべき他の音節が存在しているときに
その発音期間内にこのボイスイベントが占める発音時間
の割合を示すデータを含み、かつ、操作者により編集す
ることができるようになされていることを特徴とする自
動歌唱装置。
【請求項２】前記ボイスイベントデータは、子音を含
む音節を発音する場合における当該子音の発音時間を示
す子音発音時間データを含むことを特徴とする前記請求
項１記載の自動歌唱装置。