JPH10240264A - 楽音合成装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】フォルマント合成音源を用いて歌唱させる場合
に、より自然な合成音を得ることができ、特にピッチを
含む各種の演奏情報の変化に適応した自然な歌声を合成
することが可能な楽音合成装置および方法を提供するこ
とを目的とする。 【解決手段】音素データベースに格納するフォルマント
パラメータを、ピッチの変化に対応したフォルマントパ
ラメータの変化を反映したものとする。そして、唄わせ
る歌詞を表す歌詞情報と少なくともピッチ情報を含む演
奏情報とを入力し、上記音素データベースを参照し、入
力した歌詞情報およびピッチ情報に対応するフォルマン
トパラメータを求める。求めたフォルマントパラメータ
に応じたフォルマントを有する音声を上記ピッチ情報の
ピッチで合成出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、所望のフォルマ
ントにしたがう自然な楽音を合成する楽音合成装置およ
び方法に関する。

【０００２】

【従来の技術】従来より、人が発する音声には所定のフ
ォルマントが存在し、これにより音声が特徴づけられて
いることが知られている。一方、楽音合成装置で音声を
合成して所望の音高で出力することにより歌を唄わせる
試みがなされている。

【０００３】

【発明が解決しようとする課題】このように楽音合成装
置で歌唱させる場合、より自然な合成音を得ることが求
められている。特に、音高（ピッチ）を含む各種の演奏
情報が変化した場合でも、それらの演奏情報に適応して
自然な歌声を合成できるようにすることが求められてい
る。

【０００４】この発明は、フォルマント合成音源を用い
て歌唱させる場合に、より自然な合成音を得ることがで
き、特にピッチを含む各種の演奏情報の変化に適応した
自然な歌声を合成することが可能な楽音合成装置および
方法を提供することを目的とする。

【０００５】

【課題を解決するための手段】この目的を達成するた
め、請求項１に係る楽音合成装置は、唄わせる歌詞を表
す歌詞情報と少なくともピッチ情報を含む演奏情報とを
入力する入力手段と、音素ごとのフォルマントパラメー
タであってピッチの変化に対応したフォルマントパラメ
ータの変化を反映したフォルマントパラメータを格納し
た音素データベースと、上記音素データベースを参照し
て、上記入力手段により入力した歌詞情報およびピッチ
情報に対応するフォルマントパラメータを求める手段
と、求めたフォルマントパラメータに応じたフォルマン
トを有する音声を、上記ピッチ情報に応じたピッチで、
合成出力するフォルマント合成音源とを備えたことを特
徴とする。

【０００６】請求項２に係る発明は、請求項１におい
て、前記音素データベースを参照してフォルマントパラ
メータを求める手段を、前記ピッチ情報以外の演奏情報
にも基づいてフォルマントパラメータを求めるものとし
たことを特徴とする。

【０００７】請求項３に係る楽音合成方法は、唄わせる
歌詞を表す歌詞情報と少なくともピッチ情報を含む演奏
情報とを入力する入力ステップと、音素ごとのフォルマ
ントパラメータであってピッチの変化に対応したフォル
マントパラメータの変化を反映したフォルマントパラメ
ータを格納した音素データベースを参照し、上記入力手
段により入力した歌詞情報およびピッチ情報に対応する
フォルマントパラメータを求めるステップと、求めたフ
ォルマントパラメータに応じたフォルマントを有する音
声を、上記ピッチ情報に応じたピッチで、合成出力する
ステップとを備えたことを特徴とする。

【０００８】請求項４に係る発明は、請求項３に係る楽
音合成方法を実現するプログラムを記憶したことを特徴
とする記憶媒体である。

【０００９】

【発明の実施の形態】以下、図面を用いてこの発明の実
施の形態を説明する。

【００１０】図１は、この発明に係る楽音合成装置（歌
唱シンセサイザ）のシステム構成を示す。この楽音合成
装置は、中央処理装置（ＣＰＵ）１０１、ＭＩＤＩ（Mu
sical Instrument Digital Interface）インタフェース
１０２、データメモリデバイス１０４、ワーキングメモ
リ１０６、プログラムメモリ１０７、設定操作子１０
９、ディスプレイ１１１、ネットワークインターフェー
ス１１２、フォルマント合成音源１１５、サウンドシス
テム１１６、およびシステム共通バス１１７を備えてい
る。１０１，１０４，１０６〜１０９，１１１，１１
２，１１５の各部は、システム共通バス１１７に接続さ
れている。サウンドシステム１１６をシステム共通バス
１１７に接続してＣＰＵ１０１から制御できるようにし
てもよい。

【００１１】ＣＰＵ１０１は、この楽音合成装置全体の
動作を制御する。ＣＰＵ１０１は、ＭＩＤＩインタフェ
ース１０２を介して、外部のＭＩＤＩ機器群１０３との
間でＭＩＤＩ方式メッセージを送受信する機能を有す
る。データメモリデバイス１０４は、各種のデータを記
憶する記憶装置であり、具体的には、半導体メモリ、フ
ロッピーディスク装置（ＦＤＤ）、ハードディスク装置
（ＨＤＤ）、光磁気（ＭＯ）ディスク装置、およびＩＣ
メモリカード装置などのローカルデータ記憶装置１０５
である。特に、データメモリデバイス１０４は、ＭＩＤ
Ｉデータで演奏データや歌詞データなどを格納してい
る。ローカルデータ記憶装置１０５としては、上記に例
示したもののほかにも、様々な形態のメディアを利用す
る装置が使用できる。

【００１２】ワーキングメモリ１０６は、ＣＰＵ１０１
が動作する際にワーク領域として使用するＲＡＭ（ラン
ダムアクセスメモリ）であり、各種のレジスタ、フラ
グ、およびバッファなどに使用する。プログラムメモリ
１０７は、ＣＰＵ１０１が実行する制御プログラムや各
種定数データなどを格納したＲＯＭ（リードオンリメモ
リ）である。設定操作子１０９は、ユーザが操作する各
種スイッチなどの操作子であり、例えば通常のパーソナ
ルコンピュータで用いられているマウス１１０やキーボ
ードなどでよい。ディスプレイ１１１は、各種の情報を
表示するために使用する表示装置である。

【００１３】ネットワークインターフェース１１２は、
電話回線などの公衆回線やイーサネット（Ｅｔｈｅｒｎ
ｅｔ）などのローカルエリアネットワーク（ＬＡＮ）に
接続するためのインターフェースである。いわゆるパソ
コン通信やインターネットなどに接続するためのインタ
ーフェースでもよい。このネットワークインターフェー
ス１１２を介して、各種のネットワーク１１３に接続す
ることにより、外部のサーバやホストコンピュータから
（具体的には、それらに接続されたリモートデータ記憶
装置１１４などから）各種のプログラムやデータをダウ
ンロードすることができる。

【００１４】フォルマント合成音源１１５は、ＣＰＵ１
０１からの指示（フォルマントパラメータなど）に応じ
て、指定されたフォルマントの音声を指定された音高で
生成出力する。フォルマント合成音源１１５から出力さ
れた音声信号は、サウンドシステム１１６により放音さ
れる。

【００１５】この楽音合成装置では、データメモリ１０
４から読み出したＭＩＤＩ形式の歌詞データ（唄わせる
歌詞を指定するデータ）および演奏データ（音高などの
演奏情報を指定するデータ）や、ＭＩＤＩインターフェ
ース１０２を介してＭＩＤＩ機器１０３から入力した歌
詞データおよび演奏データにしたがって、歌唱発音を行
なうことができる。歌詞データおよび演奏データは、別
に接続した演奏操作子（例えば鍵盤など）１０８から入
力したＭＩＤＩデータを用いてもよいし、ネットワーク
インターフェース１１２を介して外部のネットワーク１
１３から入力したＭＩＤＩデータを用いてもよい。この
場合、入力したデータをリアルタイムに処理して歌唱さ
せてもよいし、一旦、データメモリデバイス１０４（ロ
ーカルデータ記憶装置１０５）に格納した後、それを読
み出して処理することにより歌唱させてもよい。歌詞デ
ータと演奏データとを別の系列から入力するようにして
もよい。例えば、データメモリデバイス１０４にあらか
じめ格納されている歌詞データの歌詞を、演奏操作子１
０８からリアルタイムに入力する演奏データの音高で、
歌唱させるようにすることもできる。以上のように、歌
詞データと演奏データはどのような方式で用意してもよ
い。

【００１６】このような歌唱発音は、ＣＰＵ１０１の制
御のもとで行なわれる。すなわち、ＣＰＵ１０１は、上
述のように各種の方式で用意された歌詞データと演奏デ
ータを入力し、後述の図４〜図９で説明するような処理
でフォルマント合成音源１１５に発音指示を出し、これ
により歌唱させる。この際ＣＰＵ１０１が実行する制御
プログラムはＲＯＭであるプログラムメモリ１０７に格
納されているものであるが、プログラムメモリ１０７を
ＲＯＭの代わりにＲＡＭで構成し、ローカルデータ記憶
装置１０５に制御プログラムを格納しておき、該制御プ
ログラムを必要に応じてＲＡＭであるプログラムメモリ
１０７にロードして実行するようにしてもよい。このよ
うにすれば、制御プログラムの追加やバージョンアップ
などが容易に行なえる。特に、ＣＤ−ＲＯＭなどの着脱
可能な記録媒体に記憶されている本発明に係る制御プロ
グラムや各種データをＨＤＤなどのローカルデータ記憶
装置１０５にインストールして使用するようにすれば、
制御プログラムやデータの新規インストールやバージョ
ンアップなどが容易に行なえる。また、ＣＰＵ１０１が
実行する制御プログラムは、ネットワークインターフェ
ース１１２を介してネットワーク経由でダウンロードし
たものでもよい。その際、ネットワークからダウンロー
ドした制御プログラムを一旦ローカルデータ記憶装置１
０５に格納し必要に応じてＲＡＭ構成のプログラムメモ
リ１０７にロードして実行するようにしてもよいし、ネ
ットワークからダウンロードした制御プログラムを直接
ＲＡＭ構成のプログラムメモリ１０７にロードして実行
するようにしてもよい。

【００１７】このような楽音合成装置は、各種の形態で
実現可能である。例えば、シンセサイザ、音源モジュー
ルなどの電子楽器に適用してもよいし、いわゆるマルチ
メディアパソコンに適用してもよい。汎用のパーソナル
コンピュータに音源ボードを装着し、外部の鍵盤などの
ＭＩＤＩ機器から演奏情報（ＭＩＤＩ入力）を入力する
ＭＩＤＩインターフェースを装着して、必要なソフトウ
エアを実行することで実現することもできる。

【００１８】図２は、本発明に係る図１の楽音合成装置
で歌唱させる場合の処理概要を示す図である。演奏デー
タ２０１や歌詞データ２０２は、上述したような各種の
方式でＭＩＤＩデータでＣＰＵ１０１に入力する。演奏
データ２０１は、音高（ピッチ）情報やベロシティ情報
などを含むノートオンとノートオフである。歌詞データ
２０２は、演奏データ２０１で指定した音符で発音すべ
き歌詞（音素データ）を示す。歌詞データ２０２は、Ｍ
ＩＤＩのシステムエクスクルーシブなどの形式で作成す
る。例えば、「さいた」という歌詞（音素で表わすと
「ｓａｉｔａ」）を順次Ｃ３，Ｅ３，Ｇ３の音高で唄わ
せる場合、演奏データ２０１と歌詞データ２０２は、例
えば以下のようなシーケンス（１）でＣＰＵ１０１に入
力させる。

【００１９】なお、ここではノートオンメッセージの前
にその音符で発音すべき歌詞データを送るようにしてい
る。ｓ，ａ，ｉ，ｔはそれぞれ音素を示し、音素に続く
＜＞内の数値はその音素のデュレーションタイム（持続
時間）を示す。ただし、＜００＞は次の音素のノートオ
ンが来るまでその音素を持続させて発音することを示
す。歌詞データｓ＜２０＞ａ＜００＞とｉ＜００＞とｔ
＜０２＞ａ＜００＞とは、それぞれ、所定のシステムエ
クスクルーシブのスタートを表すコードとエンドを表す
コードに挟まれたデータであり、歌詞データであること
が分かるようになっている。以下では、ｓ＜２０＞ａ＜
００＞のような１ノート中で発音する歌詞のシーケンス
をフォーンシーケンス（phoneSEQ）と呼び、歌詞データ
バッファ２１０をフォーンシーケンスバッファ（phoneS
EQバッファ）と呼ぶものとする。

【００２０】このようなシーケンス（１）を受信したＣ
ＰＵ１０１は、以下のように動作する。まず始めに、フ
ォーンシーケンスｓ＜２０＞ａ＜００＞を受信すると、
そのフォーンシーケンスをフォーンシーケンスバッファ
２１０に記憶しておく。フォーンシーケンスバッファ２
１０は、ワーキングメモリ１０６内に用意してあるバッ
ファである。次に、「Ｃ３のノートオン」を受信する
と、ＣＰＵ１０１は、フォーンシーケンスバッファ２１
０を参照して発音させる歌詞ｓ＜２０＞ａ＜００＞を知
り、その歌詞を指定音高「Ｃ３」で発生するようにフォ
ルマントパラメータを算出してフォルマント合成音源１
１５に送出する。フォルマントパラメータは、所定時間
（ここでは５ｍｓｅｃ）ごとに送出する。これにより、
歌詞ｓ＜２０＞ａ＜００＞の音高「Ｃ３」での発音が行
なわれる。

【００２１】次に「Ｃ３のノートオフ」を受信するが、
直前にａ＜００＞が指定されているので、次のノートオ
ンまで「ａ」を持続させるため、ＣＰＵ１０１は受信し
た「Ｃ３のノートオフ」を無視する。次に発音すべきフ
ォーンシーケンスｉ＜００＞を受信するとそのフォーン
シーケンスをフォーンシーケンスバッファ２１０に記憶
し、「Ｅ３のノートオン」を受信すると、ＣＰＵ１０１
は、フォーンシーケンスバッファ２１０を参照して発音
させる歌詞ｉ＜００＞を知り、その歌詞を指定音高「Ｅ
３」で発生するようにフォルマントパラメータを算出し
てフォルマント合成音源１１５に送出する。以下、「ｔ
ａ」の発音も同様の処理により行なう。

【００２２】フォルマントパラメータは、時系列データ
であり、ＣＰＵ１０１から所定の時間間隔でフォルマン
ト合成音源１１５に転送する。所定の時間間隔とは、通
常、人の音声の特徴を出して発音するには、例えば数ｍ
ｓｅｃ間隔程度の低レートでよい。この実施の形態では
５ｍｓｅｃごととした。この時間間隔で逐次フォルマン
トを時間的に変化させることにより、人の音声の特徴を
出して歌を唄わせる。フォルマントパラメータとして
は、例えば、有声音／無声音の別、フォルマント中心周
波数、フォルマントレベル、およびフォルマントバンド
幅（周波数軸上でのフォルマントの形状を規定するパラ
メータ）などがある。

【００２３】ＣＰＵ１０１は、入力したフォーンシーケ
ンス２０２と演奏データ２０１に基づいてフォルマント
パラメータを算出するが、その際、音素データベースと
調音結合データベースを参照する。音素データベースと
調音結合データベースは、あらかじめローカルデータ記
憶装置１０５に用意されており、それをワーキングメモ
リ１０６にロードして使用するものとする。何種類かの
発音声質（個人差、男声、女声など）で歌唱させること
ができるように、声質ごとに各種用意した音素データベ
ースと調音結合データベースを選択して用いることがで
きるようにしてもよい。

【００２４】図３は、音素データベースの参照方式の概
念図である。３０１は音素データベースを示す。音素デ
ータベース３０１は、各音素ごとのフォルマントパラメ
ータを集めたものである。３０２−１，３０２−２，３
０２−３，…，３０２−Ｎ（Ｎは音素の数）は、それぞ
れ、一つの音素のフォルマントパラメータを集めたもの
を示す。一つの音素のフォルマントパラメータの集まり
（例えば３０２−１）とは、当該音素の発音開始からの
経過時間とその時点のピッチとを入力すると対応するフ
ォルマントパラメータが一意に出力されるようなデータ
ベースである。したがって、音素データベース３０１
は、音素を特定する音素ナンバ、ピッチ、およびその音
素の発音開始からの経過時間を入力し、該入力データに
応じたフォルマントパラメータを出力するデータベース
である。その形態はどのようなものでもよい。例えば、
テーブルの形態でもよいし、入力データの範囲を所定の
セグメントに分けて各セグメントごとにフォルマントパ
ラメータを保持しておき入力データに応じた補間処理を
行なって出力するようなものでもよい。また、連続デー
タあるいは数式データの形態でもよい。

【００２５】なお、図３では音素データベース３０１の
フォルマントパラメータとしてフォルマント周波数およ
びフォルマントレベルのグラフ３０５，３０６のみを例
示したが、フォルマントパラメータというときは、フォ
ルマント周波数およびフォルマントレベルに限らず、フ
ォルマントバンド幅などの他のフォルマントパラメータ
を含んでいてもよい。また図３では、時間軸方向の次元
は省略し、音素ナンバと矢印３０７のように入力するピ
ッチに応じてフォルマント周波数およびフォルマントレ
ベルが定まる様子を示した。

【００２６】ＣＰＵ１０１が音素データベースを参照す
る際に使用するピッチは、３０３に示すように、ノート
オンで指定される基本的なピッチデータにピッチベンド
データおよびその他のピッチ生成データを加算した値で
ある。歌声のフォルマント（特にフォルマント周波数）
は、ピッチに応じて音素ごとに異なる変化をする。本実
施の形態では、ピッチに応じたフォルマントパラメータ
を出力するように音素データベースを構成しているの
で、ピッチに応じたフォルマントの変化を合成音声でシ
ミュレートでき、自然な歌声を合成することが可能であ
る。なお、３０４に示すように、ベロシティデータ、ボ
リュームデータ、およびその他レベル生成データを加算
した値を、ピッチデータに反映させても良い。ベロシテ
ィ、ボリューム、およびその他レベルデータは、ピッチ
を変化させる場合があるので、そのピッチの変化をフォ
ルマントパラメータに反映させるということである。特
に、ＣＰＵ１０１の処理速度が速ければ、フォルマント
パラメータを音源１１５に出力するタイミングの都度、
その時点のピッチを反映させてフォルマントパラメータ
を算出するとよい。

【００２７】図４は、この楽音合成装置の電源がオンさ
れたときにＣＰＵ１０１が実行するメインプログラムの
手順を示す。まずステップ４０１で、各種の初期設定を
行なう。特に、後述する発音フラグＨＦＬＡＧは０に初
期設定する。次にステップ４０２で各種のイベントを待
つ。イベントが発生したときは、発生したイベントをス
テップ４０３で判別し、それぞれに応じた処理４０４〜
４０６を実行し、再びステップ４０２に戻る。ステップ
４０４は、ＭＩＤＩメッセージを受信したときに実行さ
れるＭＩＤＩ受信処理である。ステップ４０５は，ＭＩ
ＤＩ受信バッファ中のデータを処理するためのＭＩＤＩ
データ処理である。このＭＩＤＩデータ処理は、他のイ
ベントが発生せずタスクが空いているとき繰り返し実行
される。その他、各種のイベントが発生したときには発
生したイベントに応じた処理（ステップ４０６）を行な
う。

【００２８】図５は、図４のステップ４０４のＭＩＤＩ
受信処理の手順を示す。ＭＩＤＩ受信処理では、ステッ
プ５０１で、受信したＭＩＤＩメッセージをＭＩＤＩ受
信バッファ（ワーキングメモリ１０６内に確保されてい
る）へ書き込み、リターンする。

【００２９】図６は、図４のステップ４０５のＭＩＤＩ
データ処理の手順を示す。まず、ステップ６０１で、Ｍ
ＩＤＩ受信バッファより１バイトを取り込む。次にステ
ップ６０２で、取り込んだ１バイトデータがステータス
バイト（最上位ビットが１）であるか否か判別する。ス
テータスバイトであるときは、ステップ６０４で、ステ
ータスバイト以降のデータバイトを取り込み、ステータ
スバイトとともに所定のバッファに記憶し、ステップ６
０５に進む。ステップ６０２でステータスバイトでない
ときは、ステップ６０３でその他の処理を行なった後、
リターンする。なお、ステータスバイトを取り込んだ時
点でＭＩＤＩ受信バッファに以降に続くデータバイトが
受信されているとは限らないので、ステップ６０３でス
テータスバイトに引き続くデータバイトを順次取り込
み、１メッセージ分が取り込まれた時点でステップ６０
４に進むようにしてもよい。ステップ６０４の時点で
は、一つのＭＩＤＩメッセージが所定のバッファに取り
込まれていることになる。

【００３０】ステップ６０５では、受信したＭＩＤＩメ
ッセージの各ステータスごとに処理を分岐する。ノート
オンであるときは、図７のノートオン処理に進む。ノー
トオフであるときは、図８のノートオフ処理に進む。シ
ステムエクスクルーシブであるときは、ステップ６０７
に進み、当該ＭＩＤＩメッセージがフォーンシーケンス
のメッセージであるか否かを判別する。フォーンシーケ
ンスであるときは、ステップ６０８で、当該フォーンシ
ーケンスをフォーンシーケンスバッファへ書き込み、リ
ターンする。ステップ６０７でフォーンシーケンスでな
いときは、ステップ６０９で他のシステムエクスクルー
シブの処理を行なった後、リターンする。ステップ６０
５で当該ＭＩＤＩメッセージがその他のメッセージであ
るときは、ステップ６０６で、各ステータスに応じた処
理を行なった後、リターンする。特に、受信したＭＩＤ
Ｉメッセージが歌唱終了情報（演奏データの最後には曲
の終了を示す歌唱終了情報が入力するものとする）であ
ったときは、ステップ６０６に進み、その時点で発音さ
れているすべての音を消音して曲を終了する。

【００３１】図７を参照して、ノートオンのＭＩＤＩメ
ッセージを受信したときの処理を説明する。まずステッ
プ７０１で、フォーンシーケンスのタイムカウンタtime
_counterおよびフォーンカウンタphone_counterを０に
初期化する。タイムカウンタtime_counterはタイマ割込
（５ｍｓｅｃごと）がおきるごとにインクリメントされ
るカウンタであり、そのカウンタ値は各音素の発音開始
時からの経過時間を５ｍｓｅｃ単位で表したものとな
る。タイムカウンタtime_counterは、音素が切り替わる
ごとに０にリセットされる。フォーンカウンタphone_co
unterは、１ノート中（すなわち、１ノートで発音する
１フォーンシーケンス中）における音素の順番を示すカ
ウンタである。ノートが切り替わるごと、すなわちフォ
ーンシーケンスが切り替わるごとに、０にリセットさ
れ、１フォーンシーケンス中では音素が切り替わるごと
にインクリメントされる。０から始まるので、１フォー
ンシーケンス中の最初の音素はphone_counter＝０、次
の音素はphone_counter＝１、…、というようになる。

【００３２】次に、ステップ７０２で、フォーンシーケ
ンス中に呼気情報があるか否かを判別する。呼気情報と
は、ある音素と次の音素とを区切って発音したい場合に
フォーンシーケンス中に入れる情報である。呼気情報を
入れる場合はフォーンシーケンス中の最後に入れるもの
とし、その場合、フォーンシーケンスの最後の音素の発
音の後、その音素の発音が一旦停止し、次のフォーンシ
ーケンスの発音が開始するようになる。ステップ７０２
で呼気情報があるときは、呼気フラグf_kokiに１をセッ
トし、ステップ７０５に進む。呼気情報がないときは、
フラグf_kokiを０にリセットして、ステップ７０５に進
む。

【００３３】ステップ７０５では、フォーンシーケンス
バッファ中のフォーンカウンタphone_counterで示され
る位置の音素ナンバとデュレーションタイム（duration
time）を抽出する。いまはノートオン直後であってpho
ne_counter＝０であるので、フォーンシーケンスバッフ
ァ中の最初の音素が抽出されることになる。次にステッ
プ７０６で、抽出した音素ナンバとピッチデータより、
図３で説明したように音素データベースを参照して、フ
ォルマント周波数、フォルマントレベル、およびフォル
マントバンド幅などのフォルマントパラメータを引き出
す。ここで用いるピッチデータは、図３の３０３で説明
したように、ノートオンで指定された基本的なピッチデ
ータにピッチベンドデータやその他のピッチ生成データ
を反映して求めたピッチである。なお、音素データベー
スは入力した音素ナンバとピッチと発音開始からの経過
時間に対応するフォルマントパラメータを出力するデー
タベースであるところ、ステップ７０６では音素ナンバ
とピッチのみを指定しているので、ここで引き出される
フォルマントパラメータは時系列データ（形態はテーブ
ルや数式などの任意の形態でよいが、経過時間を入力す
るとフォルマントパラメータが一意に出力されるような
情報）になる。後述するステップ７１０，９０５では、
ステップ７０６で引き出されたフォルマントパラメータ
に、現タイムカウンタtime_counter値を入力して、その
時点でのフォルマントパラメータを求めることになる。

【００３４】次にステップ７０７で、前後の音素関係に
より調音結合データベースを参照し調音結合カーブと調
音結合時間を取り出す。調音結合データベースは、ある
音素から次の音素に滑らかに移行するために参照するデ
ータベースである。前の音素と次の音素を特定すると調
音結合データベースから調音結合カーブと調音結合時間
を取り出すことができる。そして、その調音結合カーブ
に沿って前の音素のフォルマントパラメータから次の音
素のフォルマントパラメータへと補間して求めたフォル
マントパラメータを順次音源に送出することで、前の音
素から次の音素への自然な移行が実現できる。このよう
な処理を調音結合と呼ぶ。調音結合時間は、前の音素か
ら次の音素へと補間を行ないつつ移行する時間である。
ステップ７０７では、いまノートオンで発音しようとし
ている音素の前に発音中の音素があるかを確認し、前の
音素があれば、その音素からいまノートオンで発音しよ
うとしている音素へ移行する際に用いる調音結合カーブ
と調音結合時間を調音結合データベースから取り出す処
理を行なうものである。

【００３５】次にステップ７０８では、ステップ７０７
で取り出した調音結合時間とステップ７０５で抽出した
音素のデュレーションタイムとの大小関係を判別する。
調音結合時間がデュレーションタイムより大きいとき
は、その調音結合時間だけの時間を使って調音結合を行
なうと、いまノートオンで発音しようとしている音素の
デュレーションタイムを越えてしまうので、発音のタイ
ミングがずれてしまい不都合である。そこでステップ７
０９で、調音結合時間をデュレーションタイムに一致さ
せ、ステップ７１０に進む。ステップ７０８で調音結合
時間がデュレーションタイムより大きくないときは、そ
のままステップ７１０に進む。

【００３６】ステップ７１０では、先にステップ７０６
で引き出したフォルマントパラメータを参照して現タイ
ムカウンタtime_counterの値（ここではノートオン直後
であるのでタイムカウンタtime_counterの値は０であ
る）におけるフォルマントパラメータを取得し、さらに
ステップ７０７で調音結合カーブと調音結合時間が取り
出されていたときは、取得したフォルマントパラメータ
と前の音素（現在発音中）のフォルマントパラメータを
用いて、上記調音結合カーブと調音結合時間にしたがう
調音結合処理を行ない、フォルマントパラメータを算出
する。なお、ステップ７０７で調音結合カーブと調音結
合時間が取り出されていなかったとき（前に発音中の音
素なし）は、調音結合処理は行なう必要がない。次に、
ステップ７１１で、算出したフォルマントデータとピッ
チを音源１１５へ書き込む。これにより、発音すべき音
素の最初のフォルマントパラメータが音源１１５に転送
され、発音が開始される。なおこれ以後は、後述する図
９のタイマ処理で５ｍｓｅｃごとにフォルマントパラメ
ータを音源１１５に送って発音を続ける。次にステップ
７１２で、発音フラグＨＦＬＡＧに１をセットして、リ
ターンする。発音フラグＨＦＬＡＧは、１のとき歌唱発
音が行なわれていることを示し、０のとき行なわれてい
ないことを示す。

【００３７】次に図８を参照して、ノートオフのＭＩＤ
Ｉメッセージを受信したときの処理を説明する。まずス
テップ８０１で、いま発音中のフォーンシーケンスの音
素のデュレーションタイムを参照し、該デュレーション
タイムが＜００＞であって、かつ当該音素の後にさらに
発音すべき音素があるか否かを判別する。そうであると
き（例えばデュレーションが＜００＞で伸ばして発音す
る音素の後を子音で終えたりするとき）は、その音素を
発音するためにステップ８０２に進む。ステップ８０１
で、いま発音中の音素のデュレーションタイムが＜００
＞でないとき、またはデュレーションタイムは＜００＞
だがその次に発音すべき音素がないときは、ステップ８
０８に進む。

【００３８】ステップ８０２では、フォーンシーケンス
中のいま発音しているデュレーションタイムが＜００＞
である音素の次の音素の位置にフォーンカウンタphone_
counterを合わせる。さらにタイムカウンタtime_counte
rを０にリセットする。次にステップ８０３で、フォー
ンシーケンスバッファ中のフォーンカウンタphone_coun
terで示される位置の音素ナンバとデュレーションタイ
ムを抽出する。いまはフォーンカウンタphone_counter
が、最後に発音すべき音素に位置づけられておりその音
素が抽出される。

【００３９】次のステップ８０４，８０５，８０６，８
０７は、それぞれ、図７で説明したステップ７０６，７
０７，７１０，７１１と同じ処理である。これらのステ
ップ８０４〜８０７により、発音すべき音素の最初のフ
ォルマントパラメータが音源１１５に転送され、発音が
開始される。なおこれ以後は、後述する図９のタイマ処
理で５ｍｓｅｃごとにフォルマントパラメータを音源１
１５に送って発音を続ける。以上のステップ８０４〜８
０７により発音開始する音素は、デュレーションタイム
が＜００＞で伸ばして発音した音素の次に発音される音
素であるので、次にノートオンが受信されるまでの時間
で発音されるものである。もし、ステップ８０４〜８０
７により発音開始する音素のデュレーションタイムが長
く、当該音素の発音中に次のノートオンが受信された場
合は、図７で説明したように当該音素から次のノートオ
ンの音素へと調音結合されて次の音素に強制的に移行す
ることになる。

【００４０】ステップ８０１でいま発音中の音素のデュ
レーションタイムが＜００＞でないとき、またはデュレ
ーションタイムは＜００＞だがその次に発音すべき音素
がないときは、ステップ８０８で、呼気フラグf_kokiが
１であるか否かを判別する。呼気フラグf_kokiが１であ
るときは、ステップ８０９でキーオフ処理を行なって現
在発音している音素を発音停止し、さらに発音フラグＨ
ＦＬＡＧを０にリセットして、リターンする。ステップ
８０８で呼気フラグf_kokiが１でないときは、そのまま
リターンする。結果として、呼気フラグf_kokiが１でな
いときは、現在発音中の音素の発音は持続することにな
る。

【００４１】図９は、タイマ割込により５ｍｓｅｃごと
に実行されるタイマ処理の処理手順を示す。タイマ処理
では、まずステップ９０１で、発音フラグＨＦＬＡＧが
１であるか否かを判別する。ＨＦＬＡＧが１でないとき
は、現在発音中でないからそのままリターンする。ＨＦ
ＬＡＧが１のときは、ステップ９０２で、いま発音して
いる音素のデュレーションタイムが＜００＞か否か判別
する。デュレーションタイムが＜００＞のときは、現在
発音中の音素の発音を継続するため、ステップ９０４に
進む。デュレーションタイムが＜００＞でないときは、
ステップ９０３で、タイムカウンタtime_counterの値が
当該デュレーションタイム以下であるか否かを判別す
る。タイムカウンタtime_counterの値がデュレーション
タイム以下のときは、現在発音している音素の発音をさ
らに継続するということであるから、ステップ９０４に
進む。ステップ９０４ではタイムカウンタtime_counter
をインクリメントし、現タイムカウンタtime_counter値
におけるフォルマントパラメータを算出出力すべくステ
ップ９０５に進む。

【００４２】ステップ９０３でタイムカウンタtime_cou
nterの値がデュレーションタイムを越えたときは、いま
発音中の音素については当該デュレーションタイムだけ
発音を終えたということだから、フォーンシーケンス中
の次の音素の発音に移行するため、ステップ９０７に進
む。ステップ９０７では、フォーンシーケンス中に次の
音素があるか否か判別する。次の音素がないときは、ス
テップ９１２で発音フラグＨＦＬＡＧを０にリセットし
てリターンする。次の音素があるときは、その発音をす
るため、まずステップ９０８で、フォーンカウンタphon
e_counterをインクリメントし、タイムカウンタtime_co
unterを０にリセットする。そして、ステップ９０９
で、フォーンシーケンス中のフォーンカウンタphone_co
unterで示される位置（次に発音すべき音素）の音素ナ
ンバとデュレーションタイムを抽出する。

【００４３】次のステップ９１０，９１１，９０５，９
０６は、それぞれ、図７で説明したステップ７０６，７
０７，７１０，７１１と同じ処理である。これらのステ
ップにより、発音すべき音素のフォルマントパラメータ
が音源１１５に転送される。なお、ステップ９０５で
は、先に音素データベースから引き出してあるフォルマ
ントパラメータを参照して現タイムカウンタtime_count
erの値におけるフォルマントパラメータを取得し、さら
に先に調音結合データベースから取り出してある調音結
合カーブと調音結合時間にしたがう調音結合処理を行な
って、フォルマントパラメータを算出する。この「音素
データベースから引き出してあるフォルマントパラメー
タ」とは、具体的には、ノートオンで発音開始した音素
の場合はステップ７０６で引き出したもの、ノートオフ
時にデュレーション＜００＞の後に存在した音素の場合
はステップ８０４で引き出したもの、フォーンシーケン
ス中のデュレーションが＜００＞でない音素の次の音素
の場合はステップ９１０で引き出したものである。同様
に、ステップ９０５での調音結合に用いる調音結合カー
ブと調音結合時間は、具体的には、ノートオンで発音開
始した音素の場合はステップ７０７で取り出したもの、
ノートオフ時にデュレーション＜００＞の後に存在した
音素の場合はステップ８０５で取り出したもの、フォー
ンシーケンス中のデュレーションが＜００＞でない音素
の次の音素の場合はステップ９１１で取り出したもので
ある。

【００４４】次に、上述の図４〜図９の処理がどのよう
に実行されるかの概要を、具体的な例で説明する。ここ
では、「ｓａｉｔａ」をＣ３，Ｅ３，Ｇ３で発音する場
合の下記シーケンス（１）の順でイベントが発生したと
する。

【００４５】これらの各ＭＩＤＩメッセージは、それぞ
れ、ステップ４０２→４０３→４０４→図５の５０１の
手順で処理され、ＭＩＤＩ受信バッファに書き込まれ
る。また、書き込まれた各ＭＩＤＩメッセージは、空い
た時間に図６のＭＩＤＩデータ処理のステップ６０５以
降でＭＩＤＩメッセージの種類ごとに処理される。以下
では、上記各ＭＩＤＩメッセージが、ステップ６０５以
降どのように処理されるかを説明する。

【００４６】まず、最初に受信したフォーンシーケンス
ｓ＜２０＞ａ＜０＞は、ステップ６０５→６０７→６０
８の処理で、フォーンシーケンスバッファに書き込まれ
る。次の「Ｃ３のノートオン」は、ステップ６０５から
図７のノートオン処理に進み処理される。ノートオン処
理では、ステップ７０１→７０２→７０４→７０５と進
み、フォーンシーケンスバッファから最初に発音すべき
音素「ｓ」を示す音素ナンバとそのデュレーションタイ
ム＜２０＞を抽出する。そして、ステップ７０６で音素
データベースを参照し、音素「ｓ」の音素ナンバとピッ
チ「Ｃ３」に対応するフォルマントパラメータ群を引き
出す。ここで引き出すフォルマントパラメータ群は、音
素「ｓ」の発音開始時からの経過時間（５ｍｓｅｃご
と）に応じて変化する時系列データのフォルマントパラ
メータ群（その形態は任意）である。次のステップ７０
７では調音結合データベースを参照するが、いま発音し
ようとしている音素「ｓ」の前に発音している音素はな
いから、ステップ７０７，７０８では何も処理せず、ス
テップ７１０に進んで、現タイムカウンタtime_counter
値（ノートオン直後なのでtime_counter＝０）における
フォルマントパラメータを、先にステップ７０６で引き
出したフォルマントパラメータ群から求める。求めたフ
ォルマントパラメータを、ピッチデータおよびキーオン
信号とともに、ステップ７１１で音源１１５に送出し、
これにより音素「ｓ」で音高「Ｃ３」の楽音を発音開始
させる。ステップ７１２で発音フラグＨＦＬＡＧ＝１と
し、ノートオン処理を終える。

【００４７】これ以降は、５ｍｓｅｃごとに図９のタイ
マ処理が実行され、ｓ＜２０＞の発音が継続される。タ
イマ処理では、始めはステップ９０１→９０２→９０３
→９０４と進んでタイムカウンタtime_counterをインク
リメントし、さらにステップ９０５で、現タイムカウン
タtime_counter値におけるフォルマントパラメータを、
先にステップ７０６で引き出したフォルマントパラメー
タ群から求める。ステップ９０６で、求めたフォルマン
トパラメータを音源に送出して、リターンするこのステ
ップ９０１→９０２→９０３→９０４→９０５→９０６
→リターンの流れを５ｍｓｅｃごとに繰り返し、タイム
カウンタtime_counter＝２０に至ると、ステップ９０３
から９０７に進み、次の音素ａ＜００＞に移行すべくス
テップ９０８に進む。そして、ステップ９０９で、フォ
ーンシーケンスバッファから次に発音すべき音素「ａ」
を示す音素ナンバとそのデュレーションタイム＜００＞
を抽出する。ステップ９１０では音素データベースを参
照し、音素「ａ」の音素ナンバとピッチ「Ｃ３」に対応
するフォルマントパラメータ群を引き出す。ここで引き
出すフォルマントパラメータ群は、音素「ａ」の発音開
始時からの経過時間（５ｍｓｅｃごと）に応じて変化す
る時系列データのフォルマントパラメータ群である。次
のステップ９１１では調音結合データベースを参照し、
前の音素「ｓ」から今回の音素「ａ」に移行する際に用
いる調音結合カーブおよび調音結合時間を取り出す。そ
して、ステップ９０５で、現タイムカウンタtime_count
er値におけるフォルマントパラメータを、先にステップ
９１０で引き出したフォルマントパラメータ群と、ステ
ップ９１１で取り出した調音結合カーブおよび調音結合
時間から、求める。求めたフォルマントパラメータを、
ピッチデータおよびキーオン信号とともに、ステップ９
０６で音源１１５に送出し、これにより音素「ｓ」から
「ａ」に自然に移行しながら音高「Ｃ３」の楽音の発音
を開始する。音素「ａ」のデュレーションタイムは＜０
０＞であるので、これ以降５ｍｓｅｃごとのタイマ処理
では、ステップ９０２→９０４→９０５→９０６と進
み、音素「ａ」の発音が継続する。

【００４８】次の「Ｃ３のノートオフ」は、ステップ６
０５から図８のノートオフ処理に進み処理される。現在
発音中の音素「ａ」のデュレーションタイムは＜００＞
であるが、その後に音素はないので、ステップ８０１か
ら８０８に進む。また、呼気情報も設定されていないの
で、f_koki＝０であるから、そのままリターンする。し
たがって、音素「ａ」の発音は継続して実行される。

【００４９】次のフォーンシーケンス「ｉ＜００＞」
は、ステップ６０５→６０７→６０８の処理で、フォー
ンシーケンスバッファに書き込まれる。次の「Ｅ３のノ
ートオン」は、ステップ６０５から図７のノートオン処
理に進み処理される。ノートオン処理では、ステップ７
０１→７０２→７０４→７０５と進み、フォーンシーケ
ンスバッファから最初の音素「ｉ」を示す音素ナンバと
そのデュレーションタイム＜００＞を抽出する。そし
て、ステップ７０６で音素データベースを参照し、音素
「ｉ」の音素ナンバとピッチ「Ｅ３」に対応するフォル
マントパラメータ群を引き出す。ここで引き出すフォル
マントパラメータ群は、音素「ｉ」の発音開始時からの
経過時間（５ｍｓｅｃごと）に応じて変化する時系列デ
ータのフォルマントパラメータ群（その形態は任意）で
ある。次のステップ７０７では調音結合データベースを
参照し、前の音素「ａ」（現在発音中）から今回の音素
「ｉ」に移行する際に用いる調音結合カーブおよび調音
結合時間を取り出す。ステップ７０８の判別では、
「ｉ」のデュレーションタイムが＜００＞であり「ａ」
から「ｉ」に移行するときの調音結合時間よりデュレー
ションタイムが長いと言えるので、ステップ７１０に進
む。ステップ７１０では、現タイムカウンタtime_count
er値におけるフォルマントパラメータを、先にステップ
７０６で引き出したフォルマントパラメータ群と、ステ
ップ７０７で取り出した調音結合カーブおよび調音結合
時間から、求める。求めたフォルマントパラメータを、
ピッチデータおよびキーオン信号とともに、ステップ７
１１で音源１１５に送出し、これにより音素「ａ」から
「ｉ」に自然に移行しながら音高「Ｅ３」の楽音を発音
開始する。ステップ７１２で発音フラグＨＦＬＡＧ＝１
とし、ノートオン処理を終える。

【００５０】以下同様にして、「Ｅ３のノートオフ」か
ら「Ｇ３のノートオフ」までの各メッセージを処理す
る。

【００５１】なお、上記発明の実施の形態において、フ
ォルマント合成音源１１５は、全体または部分的にかか
わらず、ハードウェアまたはソフトウェアのどちらによ
って実現しても、また組み合わせて実現してもよい。ま
た、上記発明の実施の形態では、母音と子音とを別の音
素と区別した音素ごとの情報で音素データベースを持っ
ているが、５０音（「ｓａ」、「ｓｉ」など）のそれぞ
れの音を音素とした音素ごとの情報で持ってもよい。音
素データベースと調音結合データベースとを合わせた形
態としてもよい。

【００５２】上記実施の形態では、例として５ｍｓｅｃ
ごとにフォルマントパラメータを変化させるシステムと
したが、フォルマントあるいはスペクトル特性の変化の
大きいところは速く、変化の緩いところは遅いレート
で、フォルマントパラメータの変化を制御するようにし
てもよい。

【００５３】

【発明の効果】以上説明したように、この発明によれ
ば、音素データベースに格納するフォルマントパラメー
タを、ピッチの変化に対応したフォルマントパラメータ
の変化を反映したものにしているので、入力したピッチ
に応じたフォルマントで歌唱発音を行なうことができ
る。したがって、ピッチがダイナミックに変化した場合
でも、そのピッチの変化に応じたフォルマントで自然な
合成音を得ることができる。ピッチだけでなく、他の演
奏情報をも加味してフォルマントパラメータを得るよう
にすれば、それらの演奏情報に適応した自然な音声を合
成することができる。

【図面の簡単な説明】

【図１】 この発明に係る楽音合成装置のシステム構成
図

【図２】 図１の楽音合成装置で歌唱させる場合の処理
概要を示す図

【図３】 音素データベースの参照方式の概念図

【図４】 メインプログラムの手順を示すフローチャー
ト図

【図５】 ＭＩＤＩ受信処理の手順を示すフローチャー
ト図

【図６】 ＭＩＤＩデータ処理の手順を示すフローチャ
ート図

【図７】 ノートオン処理の手順を示すフローチャート
図

【図８】 ノートオフ処理の手順を示すフローチャート
図

【図９】 タイマ処理の手順を示すフローチャート図

【符号の説明】

１０１…中央処理装置（ＣＰＵ）、１０２…ＭＩＤＩイ
ンタフェース、１０３…ＭＩＤＩ機器群、１０４…デー
タメモリデバイス、１０５…ローカルデータ記憶装置、
１０６…ワーキングメモリ、１０７…プログラムメモ
リ、１０８…演奏操作子、１０９…設定操作子、１１１
…ディスプレイ、１１２…ネットワークインターフェー
ス、１１５…フォルマント合成音源、１１６…サウンド
システム、１１７…システム共通バス、２０１…演奏デ
ータ、２０２…歌詞データ、２１０…歌詞データバッフ
ァ（フォーンシーケンスバッファ）、３０１…音素デー
タベース。

Claims (4)

【特許請求の範囲】
1. 【請求項１】唄わせる歌詞を表す歌詞情報と少なくとも
   ピッチ情報を含む演奏情報とを入力する入力手段と、 音素ごとのフォルマントパラメータであってピッチの変
   化に対応したフォルマントパラメータの変化を反映した
   フォルマントパラメータを格納した音素データベース
   と、 上記音素データベースを参照して、上記入力手段により
   入力した歌詞情報およびピッチ情報に対応するフォルマ
   ントパラメータを求める手段と、 求めたフォルマントパラメータに応じたフォルマントを
   有する音声を、上記ピッチ情報に応じたピッチで、合成
   出力するフォルマント合成音源とを備えたことを特徴と
   する楽音合成装置。
2. 【請求項２】前記音素データベースを参照してフォルマ
   ントパラメータを求める手段は、前記ピッチ情報以外の
   演奏情報にも基づいてフォルマントパラメータを求める
   ものである請求項１に記載の楽音合成装置。
3. 【請求項３】唄わせる歌詞を表す歌詞情報と少なくとも
   ピッチ情報を含む演奏情報とを入力する入力ステップ
   と、 音素ごとのフォルマントパラメータであってピッチの変
   化に対応したフォルマントパラメータの変化を反映した
   フォルマントパラメータを格納した音素データベースを
   参照し、上記入力手段により入力した歌詞情報およびピ
   ッチ情報に対応するフォルマントパラメータを求めるス
   テップと、 求めたフォルマントパラメータに応じたフォルマントを
   有する音声を、上記ピッチ情報に応じたピッチで、合成
   出力するステップとを備えたことを特徴とする楽音合成
   方法。
4. 【請求項４】請求項３に係る楽音合成方法を実現するプ
   ログラムを記憶したことを特徴とする記憶媒体。