JPH09204185A - 楽音発生装置 - Google Patents
楽音発生装置Info
- Publication number
- JPH09204185A JPH09204185A JP8033013A JP3301396A JPH09204185A JP H09204185 A JPH09204185 A JP H09204185A JP 8033013 A JP8033013 A JP 8033013A JP 3301396 A JP3301396 A JP 3301396A JP H09204185 A JPH09204185 A JP H09204185A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- voice
- analysis
- percoll
- characteristic parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Electrophonic Musical Instruments (AREA)
Abstract
音形成することができる楽音発生装置を実現する。 【解決手段】 パーコール分析系2がサンプリングされ
た音声信号を分析して特徴パラメータを抽出し、これを
特徴パラメータ記憶部3に記憶しておき、制御部4が演
奏情報に応じて前記記憶部3から特徴パラメータを読み
出す一方、当該演奏情報に対応した励振信号の発生を励
振部5に指示すると、パーコール合成系6は特徴パラメ
ータ記憶部3から読み出される特徴パラメータと励振信
号とに応じて音声合成する。この結果、音声合成された
人声音を自然な歌声として楽音形成することが可能にな
る。
Description
に関し、特に、自然な歌声を発生することができる楽音
発生装置に関する。
ラメータに基づき人声音を合成する手法として、チャネ
ルボコーダや、線形予測、PARCOR(パーコール)
と呼ばれる技術が知られている。これら音声合成技術
は、分析した音声を如何に少ない情報量に変換するか、
つまり音声を分析して特徴パラメータの形に変換して言
葉の意味内容に関係の無い冗長成分を除いて情報量を圧
縮することに着目したものであって、高音質で音声合成
したり、合成した人声音を楽音形成に応用することを考
えたものではなかった。そうした中にあって、チャネル
ボコーダは構成が単純でリアルタイムの分析合成に向い
ているため、フィルタバンクにより抽出される音声のパ
ワースペクトル包絡に基づき楽音合成する楽音発生装置
に適用されていた。しかしながら、チャネルボコーダで
は、フィルタバンクを構成するバンドパスフィルタ段数
の限界や、子音を合成できない等の問題により高音質の
音声合成が叶わず、やがて淘汰されて行った。
リ読み出し方式による楽音発生装置では、サンプリング
した人声音を波形メモリに記憶しておき、これをサンプ
リング時のピッチで読み出し再生すれば、最も単純な形
で高品位な人声音を発生させることが可能になるもの
の、サンプリング時のピッチとは異なるピッチで読み出
し再生しようとすると、人声音のフォルマント周波数が
変換ピッチ量に応じて変化してしまう為、自然な歌声を
発生することができないという問題がある。そこで、本
発明は、音声合成された人声音を自然な歌声として楽音
形成することができる楽音発生装置を提供することを目
的としている。
め、請求項1に記載の発明では、時系列に標本化された
音声信号を分析して特徴パラメータを抽出する音声分析
手段と、この音声分析手段が抽出した特徴パラメータを
記憶するパラメータ記憶手段と、演奏情報に応じて前記
パラメータ記憶手段から特徴パラメータを読み出す一
方、当該演奏情報に対応した励振信号を発生する楽音制
御手段と、前記パラメータ記憶手段から読み出される特
徴パラメータと前記励振信号とに応じて音声合成する音
声合成手段とを具備することを特徴としている。
発明によれば、前記音声分析手段は、音声信号に窓関数
を重み付けしてなる分析フレーム毎に特徴パラメータを
抽出すると共に、当該特徴パラメータの先頭にフレーム
更新の一時停止を表わすストップフラグを付与し、前記
楽音制御手段は、ノートオンが与えられた時、ストップ
フラグが付与された分析フレーム迄、順次特徴パラメー
タを読み出し、ストップフラグが付与された分析フレー
ムが読み出し対象となった時点でフレーム更新を一時停
止すると共に、フレーム更新速度をベロシティに応じて
変化させることを特徴とする。
では、前記ストップフラグは、特徴パラメータの変化が
少ない母音部分の分析フレームに付与されることを特徴
とする。また、請求項1に従属する請求項4に記載の発
明にあっては、前記楽音制御手段は、ディチューンされ
た複数の波形信号を加算して前記励振信号を生成するこ
とを特徴としている。さらに、請求項1に従属する請求
項5に記載の発明によれば、前記楽音制御手段は、パラ
メータ記憶手段に記憶された分析フレーム毎の特徴パラ
メータの内、指定された分析フレームの特徴パラメータ
を削除する機能を備えることを特徴とする。
化された音声信号を分析して特徴パラメータを抽出し、
これをパラメータ記憶手段に記憶しておき、楽音制御手
段が演奏情報に応じて前記パラメータ記憶手段から特徴
パラメータを読み出す一方、当該演奏情報に対応した励
振信号を発生すると、音声合成手段がパラメータ記憶手
段から読み出される特徴パラメータと前記励振信号とに
応じて音声合成する。これにより、音声合成された人声
音を自然な歌声として楽音形成することが可能となる。
子楽器の他、人声音で音声案内する装置などに適用され
得る。以下では、本発明の実施の形態である電子楽器を
実施例として図面を参照して説明する。 A.実施例の概略 図1は、本発明の一実施例による電子楽器の概略構成を
示す機能ブロック図である。この電子楽器は、周知のパ
ーコール(PARCOR)ボコーダの原理に基づきサン
プリングした音声を分析して特徴パラメータ(後述す
る)を抽出し、抽出した特徴パラメータに応じて音声合
成するものである。音声合成の際には、励振信号(後述
する)を演奏データに応じて制御することによって、音
声合成される人声音を自然な歌声として楽音形成するよ
うになっている。以下、こうした実施例の概略について
説明する。
マイクロフォンおよびプリアンプを介して電気信号に変
換された音声信号を所定のサンプリング周波数Fsで標
本化してなる離散的な音声データxi(i=1〜N:サ
ンプリング数)を出力する。2はパーコール(PARC
OR)分析系である。パーコール分析系2では、サンプ
リングされた音声データxi間の線形予測誤差の自己相
関を逐次算出してパーコール係数K1〜Knおよび残差
波パワーAfを発生する。残差波は、分析窓中の音声デ
ータが無声音/有声音のいずれであるかを表わすもので
あって、無声音である時にはホワイトノイズとなり、一
方、有声音である時にはピッチ周期を形成するパルス列
となる。なお、残差波パワーAfとはそれらを分析窓に
わたって積分したものである。
ール分析系2から出力されるパーコール係数K1〜Kn
および残差波パワーAfを分析フレーム毎に順次記憶す
る。ここで言う分析フレームとは、後述する窓関数にて
規定される音声分析期間に相当する。4は演奏データに
応じて特徴パラメータ記憶部3に記憶されるパーコール
係数K1〜Knおよび残差波パワーAfの読み出しを制
御したり、後述する励振部5に励振信号の発生を指示す
る制御部である。励振部5は、演奏データに対応したピ
ッチで複数の波形信号を発生する波形発生器5−1と、
これら波形発生器5−1からそれぞれ出力される波形信
号を加算して信号OSCを出力する加算器5−2と、ホ
ワイトノイズWNを発生するホワイトノイズ発生器5−
3とから構成され、制御部4の指示に応じて信号OSC
あるいはホワイトノイズWNを後述のパーコール合成系
6の端子IN1,IN2に供給する。すなわち、パーコ
ール合成系6が有声音を合成する時には信号OSCを端
子IN1へ供給し、一方、無声音を合成する時にはホワ
イトノイズWNを端子IN2へ供給する。
対してパルス波形を励振波形とするが、上記波形発生器
5−1では、これに限定される必要はなく、様々な波形
形状の信号を発生させることで合成音の音色の幅を広げ
ることが可能になる。特に、三角波や異なるパルス幅を
持った波形等、倍音成分を多く含んだものが効果的であ
り、例えば、ノートオンに対してディチューンを施した
複数の波形信号を同時発生させることで、後述のパーコ
ール合成系6ではコーラスにような音声合成が実現可能
になる。パーコール合成系6は、上述したパーコール分
析系2とは逆の過程で音声を合成するものであり、制御
部4の指示に応じて特徴パラメータ記憶部3から読み出
されるパーコール係数K1〜Knおよび残差波パワーA
fと、励振部5から与えられる励振信号とにより音声デ
ータxiを合成する。7はD/A変換器であり、パーコ
ール合成系6から出力される音声データxiをアナログ
信号に変換して合成音声信号を出力する。
憶部3およびパーコール合成系6の各構成について図2
〜図5を参照して説明する。 (1)パーコール分析系2の構成 図2はパーコール分析系2の構成を示すブロック図であ
る。この図において、2aは入力される信号を少なくと
も1サンプリング周期遅延して出力する遅延回路であ
る。なお、この遅延回路2aは、1サンプル遅延に限定
されず、系のサンプリング周波数Fsが30KHzを越
える時には、2サンプル遅延が適当である。2bはサン
プル(音声データ)xi(N個)に対して窓関数W
(n)を乗算して重み付けをした後に、自己相関値を算
出する相関器である。
W(n)としては、次式に示すハニング窓関数が用いら
れている。
示するように、約30ms幅の分析フレームを持ち、2
0msのフレーム周期で分析を進めるようになってい
る。また、相関器2bでは、次式に示す自己相関関数に
基づきパーコール係数K1〜Knが算出される。なお、
この関数ではパーコール係数K1〜Knがサンプルの振
幅の影響を受けないよう正規化している。また、パーコ
ール係数K1〜Knは、完全に相関がある時には
「1」、相関が無い時には「0」、完全に逆位相の関係
にある時には「−1」となる。
パーコール係数K1を乗算して出力する係数乗算器であ
り、2dは現サンプリングされた音声データにパーコー
ル係数K1を乗算して出力する係数乗算器である。2e
は現サンプリングされた音声データから係数乗算器2c
の出力を減算する減算器、2fは1サンプル遅延された
音声データに係数乗算器2dの出力を減算する減算器で
ある。以上の構成要素2a〜2fは、格子型フィルタ2
−1を構成し、これがn段縦続接続された格子型フィル
タ2−1〜2−nによって、サンプル(音声データ)x
i間の線形予測誤差の相関を表わすパーコール係数K1
〜Knを発生するパーコール分析系2が形成されてい
る。なお、最終段の格子型フィルタ2−nから出力され
る残差波は、積分回路2gに供給され、分析窓にわたっ
て積分してなる残差波パワーAfを発生する。
〜Knおよび残差波パワーAfは、制御部4の指示に基
づき、特徴パラメータ記憶部3に逐次フレーム記憶され
る。ここで、図4を参照して特徴パラメータ記憶部3に
おけるフレーム記憶態様について説明しておく。本実施
例の場合、分析されたパーコール係数K1〜Knおよび
残差波パワーAfは、前述した分析フレーム毎にマトリ
クス状に記憶される。ここで、特徴的な点は、特徴パラ
メータの最上位ビットMSBにストップビットSTBを
設けたことにある。
数K1〜Knが殆ど変化しないのに対し、子音部分では
倍音の変化が大きい為、これに対応してパーコール係数
K1〜Knの変化も大きい。そこで、母音部分では、図
4に図示するように、上記ストップビットSTBにスト
ップフラグ「1」を立て、前後の似通った特徴パラメー
タを持つ分析フレームを削除することによって大幅にデ
ータ量を削減し得るようになっている。また、このよう
にすることで演奏データに応じた歌声を合成することが
可能になる。つまり、演奏データとしてノートオンが与
えられた時、ストップフラグが「1」となっているフレ
ーム迄、順次特徴パラメータを読み出してパーコール合
成系6に入力し、ストップフラグが「1」となっている
フレームが読み出し対象となった時点でフレームの更新
読み出しを一時停止する。そして、次のノートオンが発
生した時に、再びストップフラグが立っているフレーム
まで順次特徴パラメータを読み出してパーコール合成系
6に与えて音声合成させる。
ール係数K1〜Knおよび残差波パワーAfに基づき音
声合成するパーコール合成系6の構成について図5を参
照して説明する。図5において、6aはパーコール係数
K1を所定の定数(約0.2〜0.3)に対して大小比
較することによって有声音あるいは無声音のいずれかを
判断し、その結果に応じた信号W1,W2を発生する比
較器である。すなわち、この比較器6aは、合成すべき
特徴パラメータが「有声音」である時には、信号W1を
正規化レベル「1」として出力し、信号W2を「0」と
する。一方、これとは逆に合成すべき特徴パラメータが
「無声音」である時には、信号W2を正規化レベル
「1」として出力し、信号W1を「0」とする。
係数乗算器6bは端子IN1に供給される信号OSCに
対して信号W1を乗算して出力し、係数乗算器6cは端
子IN2に供給されるホワイトノイズWNに対して信号
W2を乗算して出力する。6dは上記係数乗算器6b,
6cの各出力を加算して出力する加算器である。したが
って、この加算器6dでは、有声音を合成する時に信号
OSCを出力し、無声音を合成する時にホワイトノイズ
WNを励振源として発生することになる。なお、上述し
た比較器6aにあっては、有声音・無声音に応じて励振
波形を信号OSCあるいはホワイトノイズWNに切換え
るよう信号W1,W2を発生するようにしたが、これに
限らず、有声音・無声音に応じて信号W1,W2をクロ
スフェードさせるようにしても良い。その場合、有声音
から無声音への変化、あるいは無声音から有声音への変
化がより自然なものとなる。
の出力に残差パワーAfを乗算して出力する。6−1〜
6−nは、それぞれパーコール係数K1〜Knに基づき
前述したパーコール分析過程の逆過程で音声合成する格
子型フィルターである。これら縦続接続される格子型フ
ィルターは、遅延回路6f、係数乗算器6g,6h、加
算器6iおよび減算器6jから構成される。遅延回路6
fは、パーコール分析系2と同じサンプリング遅延とす
れば、分析した音声信号と同じフォルマントとなる。し
たがって、音声合成時の特殊効果として故意にフォルマ
ントを異ならせるには、分析時とは異なるサンプリング
遅延量とすれば良い。
6を参照して説明する。なお、この図において、図1に
示す各部と共通する要素には同一の番号を付し、その説
明を省略する。図6において、10は楽器各部を制御す
ると共に、上述したパーコール分析系2および制御部4
の機能を担うCPUであり、その動作については後述す
る。11はCPU10にロードされる各種の制御プログ
ラムや制御データが記憶されるROMである。12はC
PU10のワークエリアとして各種レジスタあるいはフ
ラグデータが一時記憶されるRAMである。また、この
RAM12は、上述の特徴パラメータ記憶部3として用
いられるものであり、その所定記憶エリアには分析され
たパーコール係数K1〜Knおよび残差波パワーAfが
分析フレーム毎に配列状(図4参照)に記憶される。
イッチ操作に応じた操作信号を発生する操作パネルであ
る。この操作パネル13には、音声サンプリングする際
に操作されるサンプリングスイッチSS、サンプリング
開始時に操作されるスタートスイッチSTS、サンプリ
ングした音声データを編集加工する際に操作されるエデ
ィットスイッチESや、パーコール分析する際に操作さ
れる分析スイッチASが配設されている。また、エディ
ットに関するスイッチ類としては、分析フレームをイン
クリメントさせるスイッチINC、分析フレームをデク
リメントさせるスイッチDEC、分析フレームをデリー
トするスイッチDEL、分析フレームをセットするスイ
ッチSPSおよびリセットするスイッチSRSがある。
なお、これらスイッチの意図するところについは追って
説明する。
等から構成される表示部であり、バスを介してCPU1
0から供給される表示制御信号に応じて、例えば、サン
プリングした音声データを時系列にLCD表示する。1
5は前述したパーコール合成系6の処理をシミュレート
するディジタルシグナルプロセッサ(以下、DSPと記
す)である。このDSP15は、演奏データに応じてC
PU10の制御の下に、RAM12から転送されて来る
パーコール係数K1〜Knおよび残差波パワーAfに基
づき音声合成する。DSP15にて合成された音声デー
タは、次段のD/A変換器7を介してアナログの音声信
号に変換され、図示されていないサウンドシステムにて
ノイズ除去等のフィルタリングが施された後、スピーカ
より自然な歌声として放音される。
6を参照して説明して行く。以下では、最初に全体動作
としてメインルーチンの処理を説明した後、このメイン
ルーチンにおいてコールされる各種ルーチンや割込みル
ーチンの処理内容について順次述べる。 (1)メインルーチンの動作 まず、本実施例による電子楽器に電源が投入されると、
CPU10がROM11より所定の制御プログラムを読
み出して自身にロードした後、図7に示すメインルーチ
ンを実行してステップSA1に処理を進め、各種レジス
タをゼロリセットしたり、初期値セットする等のイニシ
ャライズを行う。すなわち、ステップSA1では、プロ
グラムカウンタ値がセットされる3種のレジスタi,
j,kをそれぞれゼロリセットする一方、レジスタfl
ame_end,win_end,ana_step,
k_endおよびflameにそれぞれ初期値をセット
する。
分析フレーム(窓)の数が格納されるレジスタであり、
この例では「30」フレームが初期セットされる。レジ
スタwin_endは、1フレームを構成するサンプリ
ング数が格納されるレジスタであり、この例では「14
40」がセットされる。また、レジスタana_ste
pは、分析するフレーム間のサンプリング数が格納され
るレジスタであり、この例では「960」がセットされ
る。レジスタk_endは、分析するパーコール係数の
次数が格納され、この例では「20」がセットされる。
レジスタflameは、現在処理中にあるフレーム番号
が格納されるレジスタであり、この場合、ゼロリセット
される。
は次のステップSA2に処理を進め、操作パネル13に
配設される各種スイッチの内、サンプリングスイッチS
Sがオン操作されているか否かを判断する。ここで、演
奏に先立って音声サンプリングする時には、スイッチS
Sがオン操作されるので、判断結果が「YES」とな
り、ステップSA3に進み、後述するサンプリング処理
ルーチンを実行する。一方、サンプリングスイッチSS
がオン操作されない時には、判断結果が「NO」とな
り、次のステップSA4へ処理を進める。ステップSA
4では、操作パネル13に配設される各種スイッチの
内、エディットスイッチESがオン操作されているか否
かを判断する。ここで、スイッチESがオン操作された
時には、判断結果が「YES」となり、ステップSA5
に進み、後述するエディット処理ルーチンを実行し、オ
ン操作されない時には、判断結果が「NO」となり、ス
テップSA6へ処理を進める。
オン操作されたかどうかを判断する。ここで、サンプリ
ングした音声データに対してパーコール分析を施すべく
スイッチASをオン操作した時には、判断結果が「YE
S」となり、ステップSA7に進み、後述する分析処理
ルーチンを実行する。これに対し、当該スイッチASが
オン操作されない時には、判断結果が「NO」となり、
ステップSA8へ処理を進める。なお、上述したステッ
プSA3,SA5およびSA7を介して実行される”サ
ンプリング処理ルーチン”、”エディット処理ルーチ
ン”および”分析処理ルーチン”が完了した場合も、ス
テップSA8に処理を進め、後述する演奏処理ルーチン
を実行する。そして、この後、CPU10は再びステッ
プSA2に処理を戻し、以後、上述した過程を繰り返
す。
後に発生するスイッチイベントに応じて”サンプリング
処理ルーチン”、”エディット処理ルーチン”および”
分析処理ルーチン”を実行し、これら処理に基づき得ら
れる特徴パラメータ(パーコール係数および残差波パワ
ー)に従ってなされるパーコール音声合成を演奏データ
に応じて制御する演奏処理が行われるようになってい
る。通常、最初に”サンプリング処理ルーチン”により
音声信号をサンプリングしておき、次に”分析処理ルー
チン”により各分析フレーム毎の特徴パラメータ(パー
コール係数および残差波パワー)を抽出する。続いて、
必要に応じてこの抽出した特徴パラメータを”エディッ
ト処理ルーチン”により編集し、演奏処理ルーチンにて
音声合成されるべき歌声を調整するというプロセスを辿
る。以下、こうしたプロセスに沿って各ルーチンの動作
について説明して行く。
期毎にタイマ割込み処理を実行しており、例えば、20
msec毎に割込みマスクを解除して図8に示すタイマ
割込み処理ルーチンを実行してステップSB1に処理を
進め、レジスタtimeにタイマフラグ「1」をセット
する。なお、このレジスタtimeにセットされるタイ
マフラグは、分析フレームが更新された後にゼロリセッ
トされる。
されるサンプリングスイッチSSがオン操作されると、
上述したステップSA3を介してサンプリング処理ルー
チンが実行され、CPU10は図9に示すステップSC
1に処理を進める。ステップSC1では、サンプリング
開始を指示するスタートスイッチSTSがオン操作され
る迄待機状態となり、当該スイッチSTSがオンされる
と、判断結果が「NO」となり、次のステップSC2に
進み、レジスタiをゼロリセットする。
タiの値が、flame_end×ana_stepに
達したか、つまり、規定数分のサプリングが完了したか
どうかを判断する。ここで、完了していない時には、判
断結果が「NO」となり、次のステップSC4に処理を
進める。ステップSC4では、レジスタiの値に対応さ
せてサンプリングした音声データxiをRAM12に格
納する。この後、再びステップSC3に処理を戻し、規
定数分の音声データxiをサプリングする迄、ステップ
SC3,SC4を繰り返す。そして、サンプリングが完
了した時点で上記ステップSC3の判断結果が「YE
S」となり、本ルーチンを終了してメインルーチンへ復
帰する。
にサンプリングした音声データxiが格納された場合、
操作者はこれら音声データxiにパーコール分析を施し
て特徴パラメータ(パーコール係数および残差波パワ
ー)を抽出すべく操作パネル13上の分析スイッチをオ
ン操作する。すると、CPU10は前述したメインルー
チン(図7参照)のステップSA7を介して図10に示
す分析処理ルーチンを実行し、ステップSD1に処理を
進める。
レジスタflame_endに格納される最終フレーム
値に達したか、つまり、パーコール分析が完了したかど
うかを判断する。分析が完了した時には、判断結果が
「YES」となって本ルーチンを終了するが、そうでな
い場合には、判断結果が「NO」となり、次のステップ
SD2に処理を進める。ステップSD2では、レジスタ
jの値が、レジスタwin_endの値に達したか否か
を判断する。ここで、1フレーム分の音声データxiに
ついてパーコール分析が済んでいない場合には、判断結
果が「NO」となり、次のステップSD3に進む。
タana_stepおよびレジスタjの値に応じて順次
RAM12から読み出される音声データxiに対して前
述したハニング窓関数W(n)を乗算し、これを窓掛け
された分析データとしてレジスタwave1[j]にス
トアする。そして、1フレーム分の音声データxiに対
して窓掛けが完了すると、上記ステップSD2の判断結
果が「YES」となり、次のステップSD4に処理を進
める。ステップSD4では、レジスタj,Zを一旦、そ
れぞれゼロリセットし、続く、ステップSD5では、上
記ステップSD3において窓掛けされた分析データを1
フレーム分にわたって自乗和を求めたか否かを判断す
る。1フレーム分の分析データについて自乗和を算出し
終えていない時には、判断結果が「NO」となり、ステ
ップSD6に進み、レジスタwave1[j]に格納さ
れる分析データを自乗して累算して行く。
ステップSD5の判断結果が「YES」となり、次のス
テップSD7に処理を進め、レジスタjの値をゼロリセ
ットする。次いで、CPU10は、図11に示すステッ
プSD8に処理を進め、レジスタjの値がレジスタwi
n_endの値に達したかどうか、つまり、1フレーム
中の最終データに達したか否かを判断する。ここで、最
終データに達していない時には、判断結果が「NO」と
なり、次のステップSD9に進む。ステップSD9で
は、レジスタjの値に対応してレジスタwave1に格
納されている分析データを逐次レジスタwave2へス
トアする。
スタwave2にコピーし終えると、ステップSD8の
判断結果が「YES」となり、次のステップSD10に
処理を進める。ステップSD10では、レジスタjおよ
びレジスタkをゼロリセットする。続いて、ステップS
D11に進むと、CPU10は、自己相関値であるパー
コール係数K1〜Knがストアされるレジスタk[fl
ame][0]〜k[flame][k_end]と、
残差波パワーAfがストアされるレジスタaf[fla
me]とをゼロリセットする。なお、レジスタk[fl
ame][0]〜k[flame][k_end]と
は、レジスタflameの値とレジスタk_endの値
とで要素が定まる2次元配列要素となっている。
の値がレジスタk_endの値に達したかどうか、つま
り、1フレーム分の特徴パラメータを抽出し終えたか否
かを判断する。ここで、特徴パラメータの抽出が完了し
たならば、次のフレームについて分析を進めるべく判断
結果を「YES」とし、その処理を上述のステップSD
1(図10参照)に戻す。一方、特徴パラメータの抽出
が完了していないと、判断結果が「NO」となり、この
場合、レジスタkの値に応じてステップSD13〜SD
17を実行して1フレーム中における分析データ間の線
形予測誤差の相関係数(パーコール係数)を逐次抽出す
るパーコール分析を行い、抽出したパーコール係数をレ
ジスタk[flame][0]〜k[flame][k
_end]に順次ストアする。そして、相関係数(パー
コール係数)を算出する過程が完了すると、ステップS
D16の判断結果が「YES」となり、ステップSD1
8に処理を進めて残差波パワー算出処理ルーチン(後述
する)を実行した後、ステップSD12に処理を戻す。
作 上述したステップSD18を介して残差波パワー算出処
理ルーチンが実行されると、CPU10は、図12に示
すステップSE1に処理を進め、レジスタjおよびレジ
スタaf[flame]をゼロリセットする。次いで、
ステップSE2に進むと、現在の処理が1フレーム中の
最終データに達したか否かを判断する。ここで、最終デ
ータに達していない時には、判断結果が「NO」とな
り、次のステップSE3に進む。ステップSE3では、
レジスタwave1[j]の値を自乗して累算してなる
残差波パワーafを算出してレジスタaf[flam
e]にストアする。
afが算出されると、上記ステップSE2の判断結果が
「YES」となり、次のステップSE4に処理を進め
る。ステップSE4に進むと、CPU10は算出した残
差波パワーafが所定値より大であるか否かを判断す
る。この所定値とは、パーコール分析された音声が「有
声音」あるいは「無声音」のいずれに対応するものであ
るかを判別する為の閾値である。ここで、残差波パワー
afが所定値より大の時はパーコール分析された音声が
「有声音」であると見做して本ルーチンを終了するが、
所定値より小の時には判断結果が「NO」となり、この
場合、ステップSE5に進み、残差波パワーafを
「0」にセットする。
によりRAM12に格納された特徴パラメータ(パーコ
ール係数および残差波パワー)を編集する場合、つま
り、母音部分の特徴パラメータに対してその最上位ビッ
トにストップビットSTBを付与したり、特徴パラメー
タの変化が少ない分析フレームを削除する等のデータ加
工を施す時には、操作パネル13に配設される各種スイ
ッチの内、エディットスイッチESがオン操作される。
当該スイッチESがオン操作されると、CPU10は前
述したメインルーチンのステップSA5を介して図13
に示すエディット処理ルーチンを実行する。エディット
処理ルーチンでは、発生するスイッチイベントに応じて
対応する処理を行うようになっており、以下、各スイッ
チ操作毎の動作について述べる。
が操作された時の動作 エディット対象とする分析フレームを進める場合、フレ
ームインクリメントスイッチINCが操作される。当該
スイッチINCがオン操作されると、ステップSF1の
判断結果が「YES」となり、ステップSF2に処理を
進める。ステップSF2では、レジスタflameの値
を1インクリメントして歩進させ、続くステップSF3
では、更新されたレジスタflameの値に応じて対応
するフレームの特徴パラメータ(パーコール係数および
残差波パワー)をRAM12から読み出す。この後、読
み出した特徴パラメータをディスプレイ上に数値表示あ
るいはグラフ表示させ、上記ステップSF1へ処理を戻
す。
操作された時の動作 エディット対象とする分析フレームを後退させる場合、
フレームデクリメントスイッチDECが操作される。当
該スイッチDECがオン操作された時には、ステップS
F1を介してステップSF4に進み、ここでの判断結果
が「YES」となってステップSF5に処理を進める。
ステップSF5では、レジスタflameの値を1デク
リメントして上記ステップSF3に進み、更新されたレ
ジスタflameの値に応じて対応するフレームの特徴
パラメータ(パーコール係数および残差波パワー)をR
AM12から読み出す。この場合も読み出した特徴パラ
メータをディスプレイ上に数値表示あるいはグラフ表示
させ、上記ステップSF1へ処理を戻す。
された時の動作 変化の少ない分析フレームを削除してデータ量を削減す
るには、フレームデリートスイッチDELが操作され
る。当該スイッチDELがオン操作されると、上述のス
テップSF1,SF4を介してステップSF6に進み、
ここでの判断結果が「YES」となってステップSF7
に処理を進める。そして、ステップSF7では、レジス
タflameの値をレジスタiにストアし、続く、ステ
ップSF8では、レジスタiの値が最終フレームである
か否かを判断する。ここで、最終フレームであれば、最
終フレームの特徴パラメータを削除してステップSF1
に処理を戻す。一方、最終フレームでなければ、判断結
果が「NO」となり、ステップSF9に処理を進め、レ
ジスタiの値に対応する分析フレームを削除すると共
に、これ以降のフレーム番号を1インクリメントする。
れた時の動作 パーコール係数K1〜Knの変化が少ない母音部分に対
応する分析フレームを見つけた時には、特徴パラメータ
の最上位ビットMSBに設けられるストップビットST
Bにストップフラグを立てるべくストップセットスイッ
チSETをオン操作する。このスイッチSETがオン操
作されると、CPU10はそのスイッチイベントに基づ
き図14に示すステップSF10の判断結果が「YE
S」となり、ステップSF11に処理を進める。ステッ
プSF11では、レジスタaf[flame]に格納さ
れる残差波パワーafの最上位ビットMSBにストップ
フラグ「1」をセットする。
操作された時の動作 一方、上記ストップセットスイッチSETの操作に応じ
て付与されたストップフラグをリセットする際には、ス
トップリセットスイッチRESETが操作される。当該
スイッチRESETがオン操作されると、ステップSF
12の判断結果が「YES」となり、次のステップSF
13に処理を進め、レジスタaf[flame]の最上
位ビットMSBのストップフラグをゼロリセットする。 イグジットスイッチEXITが操作された時の動作 エディット処理を終了すべくイグジットスイッチEXI
Tがオン操作されると、ステップSF14の判断結果が
「YES」となり、本ルーチンを完了してその処理をメ
インルーチンへ復帰させる。
を介して図15〜図16に示す演奏処理ルーチンが起動
されると、CPU10は先ずステップSG1に処理を進
め、レジスタaf[flame]に格納される残差波パ
ワーafを読み出し、その最上位ビットMSBに格納さ
れるストップビットが「0」であるか否かを判断する。
ここで、ストップビットが「0」であると、判断結果が
「YES」となり、次のステップSG2に処理を進め
る。ステップSG2では、レジスタtimeの値が
「1」、すなわち、特徴パラメータをDSP15(図6
参照)へ転送するタイミング下にあるかどうかを判断す
る。
作によって、レジスタtimeの値が「1」にセットさ
れているとする。そうすると、特徴パラメータをDSP
15へ転送するタイミング下にあるから、判断結果が
「YES」となり、ステップSG3に処理を進める。ス
テップSG3では、レジスタaf[flame]から読
み出した残差波パワーafと、レジスタk[flam
e][0]〜k[flame][k_ensd−1]か
ら読み出したパーコール係数K1〜KnをそれぞれDS
P15に転送する。そして、特徴パラメータの転送が完
了したならば、レジスタflameを1インクリメント
して歩進する一方、レジスタtimeをゼロリセットし
た後、パーコール係数K1の値に応じて入力ボリューム
をDSP15に指示する。この後、CPU10は後述す
るステップSG7へ処理を進める。なお、上記ステップ
SG2において、レジスタtimeの値が「0」の時に
は、特徴パラメータをDSP15へ転送するタイミング
でないので、この場合も後述するステップSG7へ処理
を進める。
は、上記ステップSG1の判断結果が「NO」となり、
ステップSG4に処理を進める。ステップSG4では、
ノートオン指示が来たか否かを判断する。ここで、ノー
トオンとなった時には、判断結果が「YES」となり、
次のステップSG5に進む。ステップSG5では、特徴
パラメータをDSP15(図6参照)へ転送するタイミ
ング下にあるかどうかを判断する。転送タイミングでな
い時には、判断結果が「NO」となり、後述のステップ
SG7に進む。これに対し、転送タイミング下にある
と、判断結果が「YES」となり、ステップSG6に進
む。
レジスタaf[flame]から読み出した残差波パワ
ーafと、レジスタk[flame][0]〜k[fl
ame][k_ensd−1]から読み出したパーコー
ル係数K1〜KnをそれぞれDSP15に転送する。そ
して、転送完了後に、レジスタflameを1インクリ
メントして歩進すると共に、レジスタtimeをゼロリ
セットする。さらに、パーコール係数K1の値に応じて
入力ボリュームをDSP15に指示し、ノートオンフラ
グをゼロリセットする。この後、CPU10は後述する
ステップSG7へ処理を進める。
は、最終フレームに達したか否かを判断する。ここで、
最終フレームに達している時には、判断結果が「YE
S」となり、次のステップSG8に進み、レジスタfl
ameの値をゼロリセットし、その後、ステップSG9
へ処理を進める。一方、最終フレームに達していない時
には、何も処理せずにステップSG9へ進む。ステップ
SG9に進むと、CPU10は演奏イベントが発生した
かどうかを判断する。ここで、演奏イベントが無い時に
は、判断結果が「NO」となり、一旦、本ルーチンを完
了してメインルーチンに復帰する。
断結果が「YES」となり、次のステップSG10に処
理を進める。ステップSG10では、そのイベントがノ
ートオンであるか否かを判断する。ノートオンであれ
ば、判断結果が「YES」となり、ステップSG11に
進み、励振部5(図6参照)をオン制御する。すなわ
ち、現分析フレームのパーコール係数が「有声音」に対
応するものである時には、励振部5から演奏データに対
応したピッチの複数の波形信号を加算してなる信号OS
Cを生成させ、これをパーコール合成系6(すなわち、
DSP15)の端子IN1へ供給するよう指示する。あ
るいは、現分析フレームのパーコール係数が「無声音」
に対応するものである時には、励振部5からホワイトノ
イズWNを出力させ、これをパーコール合成系6(DS
P15)の端子IN2へ供給するよう指示する。そし
て、この後にCPU10は、ステップSG12に進み、
ノートオンフラグnoteonを「1」にセットして本
ルーチンを完了する。これに対し、発生したイベントが
ノートオンでない場合には、上記ステップSG10の判
断結果が「NO」となり、ステップSG13に進み、励
振部5に対して信号OSCあるいはホワイトノイズWN
の出力をオフするよう指示する。
データとしてノートオンが与えられた時、ストップフラ
グが「1」となっているフレーム迄、順次特徴パラメー
タを読み出してDSP15に入力し、ストップフラグが
「1」となっているフレームが読み出し対象となった時
点でフレームの更新読み出しを一時停止する。そして、
次のノートオンが発生した時に、再びストップフラグが
立っているフレームまで順次特徴パラメータを読み出し
てDSP15に与えて音声合成させる。なお、DSP1
5では、CPU10の指示に応じてRAM12から転送
されるパーコール係数K1〜Knおよび残差波パワーA
fと、励振部5から与えられる励振信号とに基づきパー
コール合成する。これにより、音声合成される人声音が
自然な歌声として楽音形成される訳である。
プリングした音声をパーコール分析して特徴パラメータ
を抽出し、抽出した特徴パラメータを演奏データに応じ
てパーコール合成するから、音声合成される人声音を自
然な歌声として楽音形成することが可能となっている。
また、本実施例では、特徴パラメータの最上位ビットM
SBにストップビットSTBを設けておき、特徴パラメ
ータの変化が少ない母音部分では、当該ストップビット
にSTBにストップフラグ「1」を立て、前後の似通っ
た特徴パラメータを持つ分析フレームを削除することに
よって大幅にデータ量を削減し得るようになっている。
また、このようにすることで演奏データに応じた歌声が
合成し易くなっている。
成される人声音を楽音として形成する変形例について説
明する。図17は、パーコール分析に用いる音声信号を
外部音源101から供給する形態である。この場合、M
IDI信号(演奏データ)を発生するMIDI楽器10
2から外部音源101と本発明による楽音発生装置10
0とに同一のMIDI信号を供給してボコーダ処理(パ
ーコール分析・合成)を行う。この際、楽音発生装置1
00に入力される音声信号は、母音入力として用いられ
る。装置100内部には、子音用のノイズ音源を具備
し、パーコール係数に応じて母音入力および子音入力を
重み付けする態様となる。
楽器から出力されるMIDI信号を楽音発生装置100
が受け、受けたMIDI信号をさらにマルチティンバー
駆動可能な外部音源101に供給する。外部音源101
は、マルチティンバーで音声信号を発生し、その中には
母音用ティンバー、子音用ティンバーを設定する。装置
100では、これら各ティンバー(音色)の音量レベル
をパーコール係数で重み付けした後にパーコール合成す
る。これにより、母音、子音の発音が実現する。
応じて音声合成すべき分析フレームを更新しているが、
これに限定されず、例えば、ノートオフやベロシティに
応じて分析フレームを更新して逐次パーコール合成する
態様としても良い。
に標本化された音声信号を分析して特徴パラメータを抽
出し、これをパラメータ記憶手段に記憶しておき、楽音
制御手段が演奏情報に応じて前記パラメータ記憶手段か
ら特徴パラメータを読み出す一方、当該演奏情報に対応
した励振信号を発生すると、音声合成手段がパラメータ
記憶手段から読み出される特徴パラメータと前記励振信
号とに応じて音声合成するので、音声合成された人声音
を自然な歌声として楽音形成することができる。
ク図である。
示すブロック図である。
の図である。
パラメータ記憶形態を説明するための図である。
示すブロック図である。
る。
フローチャートである。
の動作を示すフローチャートである。
動作を示すフローチャートである。
示すフローチャートである。
示すフローチャートである。
チンの動作を示すフローチャートである。
動作を示すフローチャートである。
動作を示すフローチャートである。
示すフローチャートである。
示すフローチャートである。
Claims (5)
- 【請求項1】 時系列に標本化された音声信号を分析し
て特徴パラメータを抽出する音声分析手段と、 この音声分析手段が抽出した特徴パラメータを記憶する
パラメータ記憶手段と、 演奏情報に応じて前記パラメータ記憶手段から特徴パラ
メータを読み出す一方、当該演奏情報に対応した励振信
号を発生する楽音制御手段と、 前記パラメータ記憶手段から読み出される特徴パラメー
タと前記励振信号とに応じて音声合成する音声合成手段
とを具備することを特徴とする楽音発生装置。 - 【請求項2】 前記音声分析手段は、音声信号に窓関数
を重み付けしてなる分析フレーム毎に特徴パラメータを
抽出すると共に、当該特徴パラメータの先頭にフレーム
更新の一時停止を表わすストップフラグを付与し、 前記楽音制御手段は、ノートオンが与えられた時、スト
ップフラグが付与された分析フレーム迄、順次特徴パラ
メータを読み出し、ストップフラグが付与された分析フ
レームが読み出し対象となった時点でフレーム更新を一
時停止すると共に、フレーム更新速度をベロシティに応
じて変化させることを特徴とする請求項1記載の楽音発
生装置。 - 【請求項3】 前記ストップフラグは、特徴パラメータ
の変化が少ない母音部分の分析フレームに付与されるこ
とを特徴とする請求項2記載の楽音発生装置。 - 【請求項4】 前記楽音制御手段は、ディチューンされ
た複数の波形信号を加算して前記励振信号を生成するこ
とを特徴とする請求項1記載の楽音発生装置。 - 【請求項5】 前記楽音制御手段は、パラメータ記憶手
段に記憶された分析フレーム毎の特徴パラメータの内、
指定された分析フレームの特徴パラメータを削除する機
能を備えることを特徴とする請求項1記載の楽音発生装
置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03301396A JP3567587B2 (ja) | 1996-01-25 | 1996-01-25 | 楽音発生装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03301396A JP3567587B2 (ja) | 1996-01-25 | 1996-01-25 | 楽音発生装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09204185A true JPH09204185A (ja) | 1997-08-05 |
JP3567587B2 JP3567587B2 (ja) | 2004-09-22 |
Family
ID=12374939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP03301396A Expired - Fee Related JP3567587B2 (ja) | 1996-01-25 | 1996-01-25 | 楽音発生装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3567587B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006337450A (ja) * | 2005-05-31 | 2006-12-14 | Casio Comput Co Ltd | 楽音発生装置および楽音発生プログラム |
JP2010002937A (ja) * | 2009-10-07 | 2010-01-07 | Casio Comput Co Ltd | 音声分析合成装置、音声分析装置、音声合成装置、及びプログラム |
JP2019061135A (ja) * | 2017-09-27 | 2019-04-18 | カシオ計算機株式会社 | 電子楽器、電子楽器の楽音発生方法、及びプログラム |
WO2023140151A1 (ja) * | 2022-01-19 | 2023-07-27 | カシオ計算機株式会社 | 情報処理装置、電子楽器、電子楽器システム、方法及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60100199A (ja) * | 1983-11-04 | 1985-06-04 | ヤマハ株式会社 | 電子楽器 |
JPH04251297A (ja) * | 1990-12-15 | 1992-09-07 | Yamaha Corp | 楽音合成装置 |
JPH04349497A (ja) * | 1991-05-27 | 1992-12-03 | Yamaha Corp | 電子楽器 |
-
1996
- 1996-01-25 JP JP03301396A patent/JP3567587B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60100199A (ja) * | 1983-11-04 | 1985-06-04 | ヤマハ株式会社 | 電子楽器 |
JPH04251297A (ja) * | 1990-12-15 | 1992-09-07 | Yamaha Corp | 楽音合成装置 |
JPH04349497A (ja) * | 1991-05-27 | 1992-12-03 | Yamaha Corp | 電子楽器 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006337450A (ja) * | 2005-05-31 | 2006-12-14 | Casio Comput Co Ltd | 楽音発生装置および楽音発生プログラム |
JP2010002937A (ja) * | 2009-10-07 | 2010-01-07 | Casio Comput Co Ltd | 音声分析合成装置、音声分析装置、音声合成装置、及びプログラム |
JP2019061135A (ja) * | 2017-09-27 | 2019-04-18 | カシオ計算機株式会社 | 電子楽器、電子楽器の楽音発生方法、及びプログラム |
US10825438B2 (en) | 2017-09-27 | 2020-11-03 | Casio Computer Co., Ltd. | Electronic musical instrument, musical sound generating method of electronic musical instrument, and storage medium |
WO2023140151A1 (ja) * | 2022-01-19 | 2023-07-27 | カシオ計算機株式会社 | 情報処理装置、電子楽器、電子楽器システム、方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3567587B2 (ja) | 2004-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2763322B2 (ja) | 音声処理方法 | |
JP3985814B2 (ja) | 歌唱合成装置 | |
Bonada et al. | Expressive singing synthesis based on unit selection for the singing synthesis challenge 2016 | |
EP0688010A1 (en) | Speech synthesis method and speech synthesizer | |
CN111696498B (zh) | 键盘乐器以及键盘乐器的计算机执行的方法 | |
JPH031200A (ja) | 規則型音声合成装置 | |
JPH0950287A (ja) | 自動歌唱装置 | |
JP2007240564A (ja) | 歌唱合成装置および歌唱合成プログラム | |
JP3567587B2 (ja) | 楽音発生装置 | |
JPH04358200A (ja) | 音声合成装置 | |
JP5360489B2 (ja) | 音素符号変換装置および音声合成装置 | |
JP3518253B2 (ja) | データ編集装置 | |
JP3379348B2 (ja) | ピッチ変換器 | |
JPH05307395A (ja) | 音声合成装置 | |
JPH1031496A (ja) | 楽音発生装置 | |
JP3233036B2 (ja) | 歌唱音合成装置 | |
JP2004061753A (ja) | 歌唱音声を合成する方法および装置 | |
JP3503268B2 (ja) | 音色パラメータ編集装置 | |
JPH05224689A (ja) | 音声合成装置 | |
JP2956069B2 (ja) | 音声合成装置のデータ処理方式 | |
JP2866086B2 (ja) | 残差駆動型音声合成方式 | |
JP3284634B2 (ja) | 規則音声合成装置 | |
JP2536896B2 (ja) | 音声合成装置 | |
Zhu et al. | A speech analysis-synthesis-editing system based on the ARX speech production model | |
唐博文 | Energy-Efficient Real-Time Pitch Correction System via FPGA |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040120 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040525 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040607 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080625 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090625 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090625 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100625 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110625 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110625 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120625 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120625 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130625 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |