JPH04255898A - 楽音波形発生装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、電子楽器等で発音す
る楽音の基準となる楽音波形を発生する楽音波形発生装
置に係り、特にニューラルネットを利用した楽音波形発
生装置に関する。

【０００２】

【従来の技術】従来、電子楽器等の楽音波形発生装置と
して、楽音波形の各位相角点における波形振幅値のデー
タを発生する方式として、楽音波形データを予めメモリ
等に記憶しておき、それを位相角データに応じて読み出
す波形メモリ読出方式が知られている。この波形メモリ
読出方式の中には、楽音波形データの１周期分を記憶す
るものや複数周期分を記憶するものがある。

【０００３】

【発明が解決しようとする課題】１周期分だけを記憶す
る方式は発音開始から終了までの波形が固定化されてい
るため、音色等の時間的変化を表現することが困難であ
り、できたとしてもフィルタ等による変形程度であり、
その表現力には限界がある。一方、音色等の時間的変化
を高品質で表現するために、発音開始から終了（アタッ
クからディケィ）までの全波形を記憶し、それを押鍵に
伴って一通り読み出すものがある。これは波形の記憶容
量が膨大となり、また波形データの作成も容易ではなく
多大の時間を必要とし、コスト的にも非常に高価なもの
である。

【０００４】そこで、記憶容量の大型化を抑え、データ
を容易に作成できるものとして、必要な複数周期波形を
効率的に記憶たメモリを具えた音源が、現在商品化され
ている。この音源は立上り部（アタック部）の波形とし
て複数周期分、その後の持続部の波形として１周期分を
記憶し、立上り部ではその複数周期分の波形を一通り読
み出し、続いて持続部ではその１周期分の波形を繰り返
して読み出すものであり、録音された原音をその音質を
劣化させることなく圧縮して記憶することができ、リア
リティが高くかつ表現力ある音質の楽音を忠実に再現で
きるという優れた特徴を有する音源である（特開昭５９
−１０９０９０号公報）。

【０００５】ところが、電子楽器で発音する楽音の種類
によってはストリングス系の楽音のように発音開始時の
音色変化はそれほど大きくなく、その後のアフタタッチ
時に主に音色の変化するものがある。このような楽音を
上記音源（持続部で１周期分の波形を繰り返し読み出す
もの）で発音する場合には、アフタタッチ時に楽音波形
にフィルタリング処理を施して音色等の時間的変化を表
現するしかなく、その表現力自体に限界があった。

【０００６】本発明は上述の点に鑑みてなされたもので
あり、記憶容量の増大を抑え、波形データを容易に作成
できると共に発音開始から終了までの全波形に渡って音
色等の時間的変化を表現できる楽音波形発生装置を提供
することを目的とする。

【０００７】

【課題を解決するための手段】第１の発明に係る楽音波
形発生装置は、楽音の発生を指示するノートオン情報と
、この楽音の音高を指示する音高情報とを少なくとも含
む演奏情報を入力するための演奏情報入力手段と、入力
パラメータに応じた波形信号を形成する階層型ニューラ
ルネットによって構成され、前記演奏情報入力手段から
入力される音高情報を前記入力パラメータの１つとして
入力することによって前記音高情報に応じた波形信号を
形成する波形形成手段と、前記ノーオオン情報に基づき
、前記波形形成手段で形成された前記波形信号を前記音
高情報に応じた音高で出力する楽音波形出力手段とから
なることを特徴とするものである。

【０００８】第２の発明に係る楽音波形発生装置は、楽
音の発生を指示するノートオン情報と、この楽音のタッ
チ感度を指示するタッチ情報とを少なくとも含む演奏情
報を入力するための演奏情報入力手段と、入力パラメー
タに応じた波形信号を形成する階層型ニューラルネット
によって構成され、前記演奏情報入力手段から入力され
るタッチ情報を前記入力パラメータの１つとして入力す
ることによって前記タッチ情報に応じた波形信号を形成
する波形形成手段と、前記ノーオオン情報に基づき、前
記波形形成手段で形成された前記波形信号を出力する楽
音波形出力手段とからなることを特徴とするものである
。

【０００９】第３の発明に係る楽音波形発生装置は、楽
音の発生を指示するノートオン情報を少なくとも含む演
奏情報を入力するための演奏情報入力手段と、前記ノー
トオン情報に応じて時系列的に変化する制御情報を発生
する制御情報発生手段と、入力パラメータに応じた波形
信号を形成する階層型ニューラルネットによって構成さ
れ、前記制御情報発生手段から発生される制御情報を前
記入力パラメータの１つとして入力することによって前
記制御情報に応じた波形信号を形成する波形形成手段と
、前記ノートオン情報に基づき、前記波形形成手段で形
成された前記波形信号を出力する楽音波形出力手段とか
らなることを特徴とするものである。

【００１０】

【作用】ニューラルネットは神経網の工学モデルであり
、パターン認識の分野で連想メモリとして研究開発の行
われている技術である。そして、階層型ニューラルネッ
トは入力パラメータとニューラルネット係数（シナプス
の結合度）とに応じた信号を出力する。

【００１１】第１の発明では、電子楽器の鍵盤等から出
力される楽音の音高を指示する音高情報を入力パラメー
タの１つとして波形形成手段に入力する。波形形成手段
は入力パラメータに応じて波形信号を形成する階層型ニ
ューラルネットから構成される。音高情報は演奏情報入
力手段を介して波形形成手段に入力される。従って、波
形形成手段はこの音高情報をアドレスとし、このアドレ
スに応じた波形信号を形成する波形メモリとして機能す
ることとなる。

【００１２】通常の波形メモリはアドレスと一対一に対
応して波形信号を記憶しているので、発音に必要な波形
信号をその数だけ予め記憶しておかなければならず、そ
の記憶容量は膨大なものであるが、階層型ニューラルネ
ットで構成された波形形成手段は入力パラメータの入力
によって形成された波形信号と、楽音から抽出される楽
音固有の正規化波形信号との誤差が最小となるように学
習されたニューラルネット係数を予め記憶しておくだけ
で、あらゆる音高情報（アドレス）の入力に対応した波
形信号を形成することができる。そして、楽音波形出力
手段は演奏情報入力手段を介して入力される楽音の発生
を指示するノートオン情報に基づき、波形形成手段で形
成された波形信号を音高情報に応じた位相データで順次
出力し、所望の音高の楽音波形信号を出力する。このよ
うに、第１の発明によれば、従来のように発音に必要な
膨大な数の波形信号を予め記憶しておかなくてもよく記
憶容量の増大化を抑制することができると共に、音高情
報を入力パラメータの１つとして階層型ニューラルネッ
トに入力することによって、あらゆる波形信号を容易に
形成することができる。なお、音高情報と共に楽音の振
幅レベルを指示するレベル情報を入力パラメータとして
波形形成手段に入力することによって、レベル情報に応
じて発音開始から終了までの全波形に渡って音色等の時
間的変化を表現することができる。

【００１３】第２の発明では、電子楽器の鍵盤等から出
力される楽音のタッチ感度を指示するタッチ情報を入力
パラメータの１つとして波形形成手段に入力する。タッ
チ情報は演奏情報入力手段を介して波形形成手段に入力
される。従って、波形形成手段はこのタッチ情報をアド
レスとし、このアドレスに応じた波形信号を形成する波
形メモリとして機能することとなり、あらゆるタッチ情
報（アドレス）に対応した波形信号を形成することがで
きる。そして、楽音波形出力手段はノートオン情報に基
づき、波形形成手段で形成された波形信号を所定の位相
データで順次出力し、所望の楽音波形信号を出力する。 このように、第２の発明によれば、記憶容量の増大化を
抑制することができ、タッチ情報を入力パラメータの１
つとして階層型ニューラルネットに入力することによっ
て、あらゆる波形信号を容易に形成することができると
ともに、タッチ情報の変化に応じて発音開始から終了ま
での全波形に渡って音色等の時間的変化を高品質に表現
することができる。

【００１４】第３の発明では、電子楽器の鍵盤等からは
楽音の発生を指示するノートオン情報が出力されるので
、このノートオン情報に応じて時系列的に変化する制御
情報を発生する制御情報発生手段を設け、この制御情報
を入力パラメータの１つとして波形形成手段に入力する
。従って、波形形成手段はこの制御情報をアドレスとし
、このアドレスに応じた波形信号を形成する波形メモリ
として機能することとなり、時系列的に変化する制御情
報（アドレス）に対応して時系列的に変化した波形信号
を形成することができる。そして、楽音波形出力手段は
ノートオン情報に基づき、波形形成手段で形成された波
形信号を所定の位相データで順次出力するので、時間の
経過に伴って時系列的に変化する楽音波形信号を出力す
る。このように第３の発明によれば、記憶容量の増大化
を抑制することができ、時系列的に変化する制御情報を
入力パラメータの１つとして階層型ニューラルネットに
入力することによって、発音開始から終了までの全波形
に渡って音色等の時間的変化を高品質に表現することが
できる。

【００１５】

【実施例】以下、この発明の実施例を添付図面に従って
詳細に説明する。図１の（ａ）は楽音信号に基づいてニ
ューラルネットに波形信号を学習させる場合の全体構成
を示す図である。図１の（ａ）において、分析手段１は
音声信号や楽器音をマイクロフォン等を介して入力し、
それをサンプリングしてアナログ／デジタル（Ａ／Ｄ）
変換器でデジタル信号に変換し、そのデジタル信号に基
づいて音高（ピッチ）データＰ、ピッチの微分値ΔＰ、
振幅（レベル）データＬ及びレベルの微分値ΔＬを抽出
し、階層型ニューラルネット２のそれぞれの入力層ニュ
ーロンＩ０　〜Ｉ３　に出力する。このとき、分析手段
１は学習用の正規化波形信号（教師信号）ＲＳも抽出し
て階層型ニューラルネット２に出力する。

【００１６】分析手段１としては、自己相関法、零点交
差法、高速フーリエ変換法、線形予測分析法（Ｌｉｎｅ
ａｒ　　Ｐｒｅｄｉｃｔｉｖｅ　　Ｃｏｄｉｎｇ：ＬＰ
Ｃ）、線スペクトル対分析法（Ｌｉｎｅ　　Ｓｐｅｃｔ
ｒｕｍ　　Ｐａｉｒ：ＬＳＰ）、複合正弦波モデル分析
法（Ｃｏｍｐｏｓｉｔｅ　　Ｓｉｎｎｓｏｉｄａｌ　　
ｍｏｄｅｌ：ＣＳＭ）等の音響・音声分析の分野で周知
の技術を利用して構成する。

【００１７】階層型ニューラルネット２はマイクロプロ
セッサユニット（ＭＰＵ）を中心に構成されたソフトウ
ェア部分と、処理の高速性を高めるためにニューラルネ
ット専用に構成されたハードウェア部分とからなる。す
なわち、階層型ニューラルネット２は、マイクロプロセ
ッサユニット、システムプログラム等を格納するＲＯＭ
、シナプス結合度Ｖｊｋ，Ｗｉｊやその他のデータ等を
格納するデータ及びワーキング用ＲＡＭ等のバス結合で
構成されるマイクロコンピュータシステムと、これに付
加された高速演算用のロジック回路とによって構成され
ている。なお、図１の（ａ）では、シナプス結合度Ｖｊ
ｋ，Ｗｉｊを格納するものとして、特にデータ及びワー
キング用ＲＡＭのメモリ領域３を示す。このシナプス結
合度Ｖｊｋ，Ｗｉｊが波形信号を特徴付けるための重要
なニューラルネット係数である。このニューラルネット
係数の算出法については後述する。

【００１８】図１の（ｂ）は波形信号の学習を終了した
階層型ニューラルネット２を用いて楽音波形を作成する
場合の全体構成を示す図である。発音すべき楽音波形を
特定するためのピッチデータＰ、ピッチの微分値ΔＰ、
レベルデータＬ及びレベルの微分値ΔＬが階層型ニュー
ラルネット２のそれぞれの入力層ニューロンＩ０　〜Ｉ
３　に入力され、メモリ領域３内のシナプス結合度Ｖｊ
ｋ，Ｗｉｊに応じた信号が１０２４個の出力層ニューロ
ンＯｉ　（Ｏ０　〜Ｏ１０２３）から出力される。そし
て、位相データｉに対応した出力層ニューロンＯｉ　の
信号が順次読み出され、階層型ニューラルネット２から
は学習時の波形に対応した特定の楽音波形信号が出力さ
れるようになる。

【００１９】図２はマイクロコンピュータシステム及び
ロジック回路で構成される階層型ニューラルネット２の
概念を示す図である。図２において、階層型ニューラル
ネット２は４個の入力層ニューロンＩｋ（Ｉ０　〜Ｉ３
　）と、８個の中間層（ヒドン（隠れ）層）ニューロン
Ｈｊ（Ｈ０　〜Ｈ７　）と、１０２４個の出力層ニュー
ロンＯｉ（Ｏ０　〜Ｏ１０２３）とから構成される。

【００２０】入力層ニューロンＩ０　にはピッチデータ
Ｐが、入力層ニューロンＩ１　にはピッチの微分値ΔＰ
が、入力層ニューロンＩ２　にはレベルデータＬが、入
力層ニューロンＩ３　にはレベルの微分値ΔＬがそれぞ
れ分析手段１から入力される。入力層ニューロンＩ０　
〜Ｉ３　はそれぞれ結合度Ｖｊｋのシナプスを介して中
間層ニューロンＨ０　〜Ｈ７に結合される。以下、『Ｖ
ｊｋ』と表示するときは、ｋ番目の入力層ニューロンＩ
ｋ　とｊ番目の中間層ニューロンＨｊ　との間のシナプ
ス結合とその結合度のことを意味するものとして用いる
。従って、入力層ニューロンＩ０　と中間層ニューロン
Ｈ０　との間はシナプス結合Ｖ００によって結合され、
同様に、入力層ニューロンＩ１　はシナプス結合Ｖ０１
、入力層ニューロンＩ２　はシナプス結合Ｖ０２、入力
層ニューロンＩ３　はシナプス結合Ｖ０３を介してそれ
ぞれ中間層ニューロンＨ０　に結合されている。

【００２１】中間層ニューロンＨ０　〜Ｈ７　はシナプ
ス結合Ｖｊｋを介して入力層ニューロンＩ０　〜Ｉ３　
に、シナプス結合Ｗｉｊを介して出力層ニューロンＯ０
　〜Ｏ１０２３にそれぞれ結合され、各入力値とシナプ
ス結合度Ｖｊｋとの積をそれぞれ加算し、その加算値を
シグモイド関数ｆ（ｕ）で変換し、中間層信号αｊ　と
して出力層ニューロンＯ０　〜Ｏ１０２３に出力してい
る。以下、『Ｗｉｊ』と表示するときは、ｊ番目の中間
層ニューロンＨｊとｉ番目の出力層ニューロンＯｉとの
間のシナプス結合とその結合度のことを意味するものと
して用いる。シグモイド関数ｆ（ｕ）は、ｆ（ｕ）＝１
／（１＋ｅｘｐ（−ｕ／Ｔ））とする。例えば、中間層
ニューロンＨ０　はピッチデータＰとシナプス結合度Ｖ
００の積（Ｐ・Ｖ００）と、ピッチの微分値ΔＰとシナ
プス結合度Ｖ０１の積（ΔＰ・Ｖ０１）と、レベルデー
タＬとシナプス結合度Ｖ０２の積（Ｌ・Ｖ０２）と、レ
ベルの微分値ΔＬとシナプス結合度Ｖ０３の積（ΔＬ・
Ｖ０３）を入力し、これらを加算した値（Ｐ・Ｖ００＋
ΔＰ・Ｖ０１＋Ｌ・Ｖ０２＋ΔＬ・Ｖ０３）をシグモイ
ド関数ｆ（ｕ）で変換して中間層信号α０　を各出力層
ニューロンＯ０　〜Ｏ１０２３に出力する。中間層ニュ
ーロンＨ１　〜Ｈ７　も同様の演算を行い、その結果で
ある中間層信号α１　〜α７　を各出力層ニューロンＯ
０　〜Ｏ１０２３に出力する。

【００２２】出力層ニューロンＯ０　〜Ｏ１０２３は、
それぞれのシナプス結合Ｗｉｊを介して中間層ニューロ
ンＨ０　〜Ｈ７　に結合され、各中間層ニューロンＨ０
　〜Ｈ７　からの中間層信号α０　〜α７　とシナプス
Ｗｉｊとの積をそれぞれ加算し、その加算値を再びシグ
モイド関数ｆ（ｕ）で変換して出力層信号Ｆｉとして波
形信号の各位相ナンバｉに対応した最終的な波形振幅値
として出力する。従って、各出力層ニューロンＯ０　〜
Ｏ１０２３の出力層信号Ｆ０　〜Ｆ１０２３を位相ナン
バｉに従って順番に読み出すことによって特定の楽音波
形を形成することができる。ここで、出力層ニューロン
の数は波形信号の位相ナンバｉと同じ１０２４個である
。例えば、出力層ニューロンＯ０　は中間層信号α０　
とシナプス結合Ｗ００の積（α０　・Ｗ００）と、中間
層信号α１　とシナプス結合Ｗ０１の積（α１　・Ｗ０
１）と、中間層信号α２　とシナプス結合Ｗ０２の積（
α２　・Ｗ０２）と、中間層信号α３　とシナプス結合
Ｗ０３の積（α３　・Ｗ０３）と、中間層信号α４　と
シナプス結合Ｗ０４の積（α４　・Ｗ０４）と、中間層
信号α５　とシナプス結合Ｗ０５の積（α５　・Ｗ０５
）と、中間層信号α６　とシナプス結合Ｗ０６の積（α
６　・Ｗ０６）と、中間層信号α７　とシナプス結合Ｗ
０７の積（α７　・Ｗ０７）を入力する。そして、出力
層ニューロンＯ０　はこれらを加算した値（α０　・Ｗ
００＋α１　・Ｗ０１＋α２　・Ｗ０２＋α３　・Ｗ０
３＋α４　・Ｗ０４＋α５・Ｗ０５＋α６　・Ｗ０６＋
α７　・Ｗ０７）をシグモイド関数ｆ（ｕ）で変換して
出力層信号Ｆ０　を出力する。他の出力層ニューロンＯ
１　〜Ｏ１０２３も同様にそれぞれの中間層信号αｊ　
とシナプス結合Ｗｉｊとの積を加算し、その値をシグモ
イド関数ｆ（ｕ）で変換して出力層信号Ｆ１　〜Ｆ１０
２３を出力する。

【００２３】図２のような階層型ニューラルネット２を
マイクロコンピュータシステムだけでソフトウェア的に
構成することも可能であるが、波形信号を高速にめには
、入力層ニューロンＩｋと中間層ニューロンＨｊとの間
の演算及び中間層ニューロンＨｊと出力層ニューロンＯ
ｉとの間の演算をそれぞれのハードウェアで実現した方
がよい。以下、階層型ニューラルネット２を構成するハ
ードウェア部の詳細について図３及び図４を用いて説明
する。

【００２４】図２において、入力層ニューロンＩｋと中
間層ニューロンＨｊとの間で演算を行い、入力データの
状態を分析する部分を状態分析手段といい、中間層ニュ
ーロンＨｊと出力層ニューロンＯｉとの間で演算を行い
、波形信号を発生する部分を波形信号発生手段という。 図３はこの状態分析手段２Ｖの１個の中間層ニューロン
Ｈｊに対応する回路構成を示す図であり、図４は波形信
号発生手段２Ｗの１個の出力層ニューロンＯｉに対応す
る回路構成を示す図である。従って、実際の状態分析手
段２Ｖは中間層ニューロンＨｊと同じ数（８個）だけ図
３の回路を集積化して構成され、波形信号発生手段２Ｗ
は出力層ニューロンＯｉと同じ数（１０２４個）だけ図
４の回路を集積化して構成されている。

【００２５】図３の状態分析手段２Ｖは、４個の乗算器
Ｍｊ０，Ｍｊ１，Ｍｊ２，Ｍｊ３と、３個の加算器Ａｊ
１，Ａｊ２，Ａｊ３と、シグモイド関数変換器ＳＩＧ１
とによって構成される。ここで、ｊは中間層ニューロン
Ｈｊ　の番号ｊである。乗算器Ｍｊ０はピッチデータＰ
とデータ及びワーキング用ＲＡＭのメモリ領域３Ｖに格
納されているシナプス結合Ｖｊ０とを入力し、両者を乗
算した値（Ｐ×Ｖｊ０）を加算器Ａｊ１に出力する。乗
算器Ｍｊ１はピッチ微分値ΔＰとシナプス結合Ｖｊ１と
の値を乗算した値（ΔＰ×Ｖｊ１）を加算器Ａｊ１に出
力する。乗算器Ｍｊ２はレベルデータＬとシナプス結合
Ｖｊ２との値を乗算した値（Ｌ×Ｖｊ２）を加算器Ａｊ
２に出力する。乗算器Ｍｊ３はレベル微分値ΔＬとシナ
プス結合Ｖｊ３との値を乗算した値（ΔＬ×Ｖｊ３）を
加算器Ａｊ３に出力する。

【００２６】加算器Ａｊ１は乗算器Ｍｊ０，　Ｍｊ１の
出力を加算した値（Ｐ×Ｖｊ０＋ΔＰ×Ｖｊ１）を次の
加算器Ａｊ２に出力する。加算器Ａｊ２は加算器Ａｊ１
と乗算器Ｍｊ２の出力を加算した値（Ｐ×Ｖｊ０＋ΔＰ
×Ｖｊ１＋Ｌ×Ｖｊ２）を次の加算器Ａｊ３に出力する
。加算器Ａｊ３は加算器Ａｊ２と乗算器Ｍｊ３の出力を
加算した値（Ｐ×Ｖｊ０＋ΔＰ×Ｖｊ１＋Ｌ×Ｖｊ２＋
ΔＬ×Ｖｊ３）をシグモイド関数変換器ＳＩＧ１に出力
する。従って、加算器Ａｊ１，Ａｊ２，Ａｊ３の代わり
に乗算器Ｍｊ０，Ｍｊ１，Ｍｊ２，Ｍｊ３の合計値を出
力するものを用いてもよい。シグモイド関数変換器ＳＩ
Ｇ１は加算器Ａｊ３の出力値（Ｐ×Ｖｊ０＋ΔＰ×Ｖｊ
１＋Ｌ×Ｖｊ２＋ΔＬ×Ｖｊ３）をシグモイド関数ｆ（
ｕ）で変換し、それを中間層信号αｊ　としてシナプス
結合Ｗｉｊを介してそれぞれの出力層ニューロンＯ０　
〜Ｏ１０２３に出力する。

【００２７】図４の波形発生手段２Ｗは、８個の乗算器
ｍｉ０，ｍｉ１，ｍｉ２，ｍｉ３，ｍｉ４，ｍｉ５，ｍ
ｉ６，ｍｉ７と、７個の加算器ａｉ１，ａｉ２，ａｉ３
，ａｉ４，ａｉ５，ａｉ６，ａｉ７と、シグモイド関数
変換器ＳＩＧ２とによって構成される。ここで、ｉは出
力層ニューロンＯｉ　の番号ｉである。乗算器ｍｉ０は
中間層信号α０　とデータ及びワーキング用ＲＡＭのメ
モリ領域３Ｗに格納されているシナプス結合Ｗｉ０とを
入力し、両者を乗算した値（α０　×Ｗｉ０）を加算器
ａｉ１に出力する。乗算器ｍｉ１は中間層信号α１　と
シナプス結合Ｗｉ１との値を乗算した値（α１　×Ｗｉ
１）を加算器ａｉ１に出力する。乗算器ｍｉ２は中間層
信号α２　とシナプス結合Ｗｉ２との値を乗算した値（
α２　×Ｗｉ２）を加算器ａｉ２に出力する。乗算器ｍ
ｉ３，ｍｉ４，ｍｉ５，ｍｉ６，ｍｉ７も同様に中間層
信号α３　，α４　，α５　，α６　，α７　とシナプ
ス結合Ｗｉ３，Ｗｉ４，Ｗｉ５，Ｗｉ６，Ｗｉ７との値
を乗算した値（α３　×Ｗｉ３，α４　×Ｗｉ４，α５
　×Ｗｉ５，α６　×Ｗｉ６，α７　×Ｗｉ７）をそれ
ぞれの加算器ａｉ３，ａｉ４，ａｉ５，ａｉ６，ａｉ７
に出力する。

【００２８】加算器ａｉ１は乗算器ｍｉ０，　ｍｉ１の
出力を加算した値（α０　×Ｗｉ０＋α１　×Ｗｉ１）
を次の加算器ａｉ２に出力する。加算器ａｉ２は加算器
ａｉ１と乗算器ｍｉ２の出力を加算した値（α０　×Ｗ
ｉ０＋α１　×Ｗｉ１＋α２×Ｗｉ２）を次の加算器ａ
ｉ３に出力する。以下同様に、加算器ａｉ３，ａｉ４，
ａｉ５，ａｉ６，ａｉ７は前段の加算器に対応した乗算
器との出力を順次加算し、最終的な加算値（α０　×Ｗ
ｉ０＋α１　×Ｗｉ１＋α２　×Ｗｉ２＋α３　×Ｗｉ
３＋α４　×Ｗｉ４＋α５　×Ｗｉ５＋α６　×Ｗｉ６
＋α７　×Ｗｉ７）を加算器ａｉ７がシグモイド関数変
換器ＳＩＧ２に出力する。従って、加算器ａｉ１，ａｉ
２，ａｉ３，ａｉ４，ａｉ５，ａｉ６，ａｉ７の代わり
に乗算器ｍｉ１，ｍｉ２，ｍｉ３，ｍｉ４，ｍｉ５，ｍ
ｉ６，ｍｉ７の合計値を出力するものを用いてもよい。 シグモイド関数変換器ＳＩＧ２は加算器ａｉ７の出力値
（α０　×Ｗｉ０＋α１　×Ｗｉ１＋α２　×Ｗｉ２＋
α３　×Ｗｉ３＋α４　×Ｗｉ４＋α５　×Ｗｉ５＋α
６　×Ｗｉ６＋α７　×Ｗｉ７）をシグモイド関数ｆ（
ｕ）で変換し、それを位相番号ｉの出力層信号Ｆｉとし
て出力する。なお、シグモイド関数変換器ＳＩＧ２は省
略してもよい。

【００２９】次に、ニューラルネット係数（シナプス結
合度Ｖｊｋ，Ｗｉｊ）の分析処理を図５のフローチャー
トに基づいてステップ順に説明する。 ステップ５０：ニューラルネット係数（シナプス結合Ｖ
ｊｋ，Ｗｉｊ）に初期値として、出力層ニューロンＯｉ
からの出力波形がほぼ正弦波となるような値を設定する
。 ステップ５１：分析手段１に音声信号や楽器音等の楽音
波形をマイクロフォン等を介して入力する。このときの
楽音波形の中にはイニシャルタッチデータ及びアフタタ
ッチデータ等が含まれている。

【００３０】ステップ５２〜５５は、分析手段１が行う
処理であり、入力された楽音信号からピッチデータＰ、
ピッチ微分値ΔＰ、レベルデータＬ、レベル微分値ΔＬ
等の楽音に関する楽音データと、その楽音に固有の正規
化波形信号ＲＳを抽出する処理であり、ステップ５６〜
５８は、階層型ニューラルネット２が行う処理であり、
ニューラルネット係数（シナプス結合度Ｖｊｋ，Ｗｉｊ
）を学習記憶する処理である。 ステップ５２：分析手段１は、入力された楽音波形をサ
ンプリングしてアナログ／デジタル（Ａ／Ｄ）変換器で
デジタル信号に変換し、このデジタル信号に基づいて振
幅エンベロープ信号を抽出し、そして、この振幅エンベ
ロープ信号に基づいてレベルデータＬ及びレベル微分値
ΔＬを算出して階層型ニューラルネット２に出力する。

【００３１】ステップ５３：前のステップで抽出された
デジタル信号の振幅エンベロープ信号のレベルが全波形
に渡って一定となるように均一化する。 ステップ５４：分析手段１は、前のステップで均一化さ
れた振幅エンベロープ信号に基づいて音高（ピッチ）の
変化を示すピッチエンベロープ信号を抽出し、そして、
このピッチエンベロープ信号に基づいてピッチデータＰ
及びその微分値ΔＰを算出して階層型ニューラルネット
２に出力する。

【００３２】ステップ５５：分析手段１は、前のステッ
プで抽出されたピッチエンベロープ信号のレベルが全波
形に渡って一定となるように均一化する。このようにし
て得られたピッチレベルの均一化されたピッチエンベロ
ープ信号は、振幅レベル及びピッチレベルの均一化され
た正規化波形（教師波形）信号ＲＳとして階層型ニュー
ラルネット２に出力される。このようにして得られた正
規化波形（教師波形）信号ＲＳは楽音に固有のものであ
る。 ステップ５６：階層型ニューラルネット２は、分析手段
１からのピッチデータＰ、ピッチ微分値ΔＰ、レベルデ
ータＬ、レベル微分値ΔＬ及び正規化波形信号ＲＳに基
づいてニューラルネット係数（シナプス結合度Ｖｊｋ，
Ｗｉｊ）をバックプロパゲーション法によって学習する
。

【００３３】すなわち、図２の階層型ニューラルネット
において、入力層ニューロンＩ０　〜Ｉ３　にピッチデ
ータＰ、ピッチ微分値ΔＰ、レベルデータＬ、レベル微
分値ΔＬがそれぞれ入力される。ニューラルネット係数
（シナプス結合度Ｖｊｋ，Ｗｉｊ）にはステップ５０の
処理で予め初期値が設定されているので、出力層ニュー
ロンＯ０　〜Ｏ１０２３からはニューラルネット係数に
応じた１０２４個の出力層信号Ｆ０　〜Ｆ１０２３が出
力される。この１０２４個の出力層信号Ｆｉは正弦波信
号である。そこで階層型ニューラルネット２を構成する
マイクロプロコンピュータシステムは、分析手段１から
の正規化波形信号ＲＳを出力層信号数に対応した１０２
４個の正規化波形信号ＲＳ０　〜ＲＳ１０２３に変換し
、出力層信号Ｆ０　〜Ｆ１０２３との間のずれが最小と
なるようなニューラルネット係数（シナプス結合度Ｖｊ
ｋ，Ｗｉｊ）を公知のバックプロパゲーション法によっ
て求める。

【００３４】ステップ５７：ステップ５１〜５６までの
処理をＮ回以上行ったかどうかを判定し、Ｎ回以上行っ
た（ＹＥＳ）場合は次のステップ５８に進み、行ってい
ない場合はステップ５１〜５６の処理を繰り返し実行す
る。 ステップ５８：ステップ５１〜５６の処理をＮ回実行し
た結果、ニューラルネット係数が実行回数の増加に伴っ
て徐々に収束しているかどうかを判定し、収束している
場合にはニューラルネット係数として最適の値が学習記
憶されたので、この楽音波形についての学習処理を終了
し、収束していない場合にはステップ５１〜５６の処理
を再度所定回数以上実行する。このときの回数はステッ
プ５７のＮと同じであってもよいし、これよりも多くて
も少なくてもよいし、ステップ５８の処理で収束してい
ると判定されるまで繰り返し実行するようにしてもよい
。

【００３５】次に、学習処理の終了した階層型ニューラ
ルネット２を楽音波形発生手段として利用した電子楽器
の一実施例について説明する。図６は楽音波形発生手段
として図１の階層型ニューラルネット２を用いたもので
ある。図６の実施例において、鍵盤１０は発音すべき楽
音の音高を選択するための複数の鍵を備えたものであり
、各鍵に対応してキースイッチを有しており、また必要
に応じて押圧力検出装置等のタッチ検出手段を有してい
る。

【００３６】押鍵検出手段１１は鍵盤１０の状態（押鍵
された鍵があるかどうか）、すなわち鍵盤１０内の各キ
ースイッチのオン・オフを検出するものであり、例えば
各キースイッチを順番に走査する走査回路と、その走査
結果をエンコードする回路とを含んで構成されており、
押鍵された鍵を示すキーコードＫＣと、押鍵されたこと
を示すノートオン信号Ｎｏｎと、離鍵されたことを示す
ノートオフ信号Ｎｏｆ（図示せず）を出力する。また、
押鍵検出手段１１は、キースイッチからの出力に基づい
て押し下げ時の押鍵操作速度を判別してイニシャルタッ
チデータＩＴを出力し、鍵盤の各鍵に関連して、鍵押圧
持続時における押圧力検出装置の出力から押圧力を検出
してアフタタッチデータＡＴを出力する。

【００３７】押鍵検出手段１１は、ノートオン信号Ｎｏ
ｎ、イニシャルタッチデータＩＴ及びアフタタッチデー
タＡＴをピッチエンベロープ信号発生手段１２及び振幅
エンベロープ信号発生手段１４に出力し、キーコードＫ
Ｃを加算器１３に出力する。ピッチエンベロープ信号発
生手段１２はノートオン信号Ｎｏｎ、イニシャルタッチ
データＩＴ及びアフタタッチデータＡＴに基づいてキー
コードＫＣの基準ピッチに対するピッチのずれ量を表す
ピッチエンベロープ信号ＰＥを加算器１３に出力する。

【００３８】加算器１３はキーコードＫＣにピッチエン
ベロープ信号ＰＥ分だけ変動したピッチデータＰを楽音
波形発生手段２、微分器１５及びピッチナンバ発生手段
１７に出力する。振幅エンベロープ信号発生手段１４は
、ノートオン信号Ｎｏｎ、イニシャルタッチデータＩＴ
及びアフタタッチデータＡＴに基づき楽音信号の発音開
始時から消音時に至るまでの振幅エンベロープ信号（レ
ベルデータ）Ｌを乗算器１９、微分器１６及び楽音波形
発生手段２に出力し、イニシャルタッチデータＩＴ又は
／及びアフタタッチデータＡＴによって振幅エンベロー
プ信号を可変制御したり、楽音の音色に応じて異なる振
幅エンベロープ信号を発生したりする。

【００３９】微分器１５は加算器１３からのピッチデー
タＰを入力し、それを微分したピッチ微分値ΔＰを楽音
波形発生手段２に出力する。微分器１６は振幅エンベロ
ープ信号発生手段１４からの振幅エンベロープ信号（レ
ベルデータ）Ｌを入力し、それを微分したレベル微分値
ΔＬを楽音波形発生手段２に出力する。ピッチナンバ発
生手段１７は加算器１３からのピッチデータＰを入力し
、それに対応したピッチナンバＰｎをアキュムレータ１
８に出力する。

【００４０】アキュムレータ１８はピッチナンバＰｎを
累算し、楽音波形発生手段２から出力される楽音波形信
号Ｆｉの音高を設定するための位相データｉを発生する
ものである。従って、ピッチナンバＰｎの値が小さい時
は累算の速度は遅くなり位相データｉの増加量が小さく
なり、楽音波形信号Ｆｉの音高も低くなる。逆に、ピッ
チナンバＰｎが大きい時は累算の速度は速くなり位相デ
ータｉの増加量も大きくなり、楽音波形信号Ｆｉの音高
も高くなる。累算値がオーバーフローしたときは、再び
初期値に戻って累算を繰り返す。

【００４１】楽音波形発生手段２はピッチデータＰ、ピ
ッチ微分値ΔＰ、レベルデータＬ及びレベル微分値ΔＬ
をそれぞれの入力層ニューロンＩ０　〜Ｉ３　に取り込
み、ニューラルネット係数（シナプス結合度Ｖｊｋ，Ｗ
ｉｊ）に応じた楽音波形信号を各出力層ニューロンＯ０
　〜Ｏ１０２３から出力する。このとき、楽音波形発生
手段２からは、アキュムレータ１８の位相データｉに対
応した楽音波形信号Ｆｉが最終的に出力される。

【００４２】乗算器１９は楽音波形発生手段２から出力
される楽音波形信号Ｆｉと振幅エンベロープ信号発生手
段１４からの振幅エンベロープ信号Ｌとを乗算し、その
乗算結果を楽音信号としてＤ／Ａ変換器２０に出力する
。乗算器１９から出力されたデジタルの楽音信号はデジ
タル／アナログ（Ｄ／Ａ）変換器２０によって、アナロ
グの楽音信号に変換され、サウンドシステム２１に出力
される。

【００４３】サウンドシステム２１はスピーカ及び増幅
器等で構成され、Ｄ／Ａ変換器２０からのアナログの楽
音信号に応じた楽音を発生する。楽音波形発生手段２は
、楽音波形データとして１周期分の波形を出力する場合
について説明したが、これに限らず１／２周期あるいは
１／４周期分の波形を出力するようにしてもよい。また
、出力層ニューロンの数も１０２４個としたがこれに限
定されるものではない。

【００４４】次に、この発明の他の実施例について図７
を用いて説明する。図７において図６と同じ構成のもの
には同一の符号が付してあるので、その説明は省略する
。図７の実施例が図６のものと異なる点は、楽音波形発
生手段４の各入力層ニューロンＩ０　〜Ｉ３　に対して
イニシャルタッチデータＩＴ、アフタタッチデータＡＴ
、アフタタッチデータの微分値ΔＡＴ及びフレーム番号
ＦＮを入力し、これらの入力データに基づいて楽音波形
信号Ｆｉを生成している点である。

【００４５】楽音波形発生手段４は学習時にイニシャル
タッチデータＩＴ、アフタタッチデータＡＴ、アフタタ
ッチデータの微分値ΔＡＴ及びフレーム番号ＦＮを入力
層ニューロンＩ０　〜Ｉ３　に入力し、これらの入力デ
ータに応じたニューラルネット係数（シナプス結合度Ｖ
ｊｋ，Ｗｉｊ）をデータ及びワーキングＲＡＭのメモリ
領域に記憶している。従って、楽音波形発生手段４は図
６の楽音波形発生手段２とはニューラルネット係数（シ
ナプス結合度Ｖｊｋ，Ｗｉｊ）の値が異なるだけであり
、ハードウェア的には異なるところはない。

【００４６】従って、図７の実施例では楽音波形発生手
段４に対して入力データ（楽音データ）を与える回路構
成が次のようになっている。まず、楽音波形発生手段４
にフレーム番号ＦＮを供給するために時間カウンタ２２
及びフレーム指定回路２３を有する。そして、イニシャ
ルタッチデータＩＴ及びアフタタッチデータＡＴの供給
は押鍵検出手段１１から直接行い、アフタタッチデータ
の微分値ΔＡＴの供給は微分器２４を介することによっ
て行っている。

【００４７】時間カウンタ２２はノートオン信号Ｎｏｎ
の入力に応じてカウント処理を開始し、カウントするイ
ンクリメント量をイニシャルタッチデータＩＴ及びアフ
タタッチデータＡＴに応じて変化させ、カウント処理を
可変制御している。フレーム指定回路２３は時間カウン
タ２２からのカウント値を入力し、それに対応したフレ
ーム番号ＦＮを楽音波形発生手段４に出力する。

【００４８】ここで、フレーム番号ＦＮとは、発音開始
から終了（アタックからディケィ）までの楽音の全波形
を複数周期毎に分割グループ化して学習し、そのグルー
プに発音開始から順に付した番号のことである。たとえ
ば、発音開始直後に楽音波形発生手段４から最初に出力
される一周期分の楽音波形信号Ｆ０　〜Ｆ１０２３を第
１波形信号ＦＷ１とすると、楽音波形発生手段４は、最
初のフレーム番号ＦＮ＝１でこの波形信号ＦＷ１を周期
番号０〜３の４周期分、次のフレーム番号ＦＮ＝２では
波形の若干異なる第２波形信号ＦＷ２を周期番号４〜９
の６周期分、フレーム番号ＦＮ＝３では第３波形信号Ｆ
Ｗ３を周期番号１０〜２０の１１周期分、フレーム番号
ＦＮ＝４では第４波形信号ＦＷ４を周期番号２１〜４０
の２０周期分、フレーム番号ＦＮ＝５では第５波形信号
ＦＷ５を周期番号４１〜７０の３０周期分、フレーム番
号ＦＮ＝６では第６波形信号ＦＷ６を周期番号７１〜１
２０の５０周期分というように、フレーム番号ＦＮと周
期番号とを対応付けて学習記憶している。

【００４９】そして、楽音波形発生時には、時間カウン
タ２２がイニシャルタッチデータＩＴやアフタタッチデ
ータＡＴの値に応じてインクリメント処理したカウント
値をフレーム指定回路２３に出力するので、フレーム指
定回路２３からは周期番号順にフレーム番号ＦＮが出力
されなくなり、楽音波形発生手段４から出力される楽音
波形の音色がイニシャルタッチデータＩＴやアフタタッ
チデータＡＴの値に応じて効果的に変化するようになる
。すなわち、インクリメント量が大きくなると、周期番
号４番目の波形としては第１波形信号ＦＷ１が出力され
ずに第２波形信号ＦＷ２が出力されるようになる。逆に
、インクリメント量が小さくなると、周期番号５番目の
波形としては第２波形信号ＦＷ２が出力されずに第１波
形信号ＦＷ１が出力されることとなる。

【００５０】なお、図６の実施例では振幅エンベロープ
信号発生手段１４の振幅エンベロープ信号Ｌが微分器１
６及び楽音波形発生手段２にも供給されているが、図７
の実施例では振幅エンベロープ信号Ｌは乗算器１９にだ
け出力されている。このように図７の実施例によれば、
楽音波形発生手段４から出力される楽音波形の音色をイ
ニシャルタッチデータＩＴやアフタタッチデータＡＴの
値に応じて効果的に変化させることができる。

【００５１】なお、図６及び図７の実施例では、専用の
ハードウェア回路により装置を構成しているが、同等の
機能をソフトウェア処理で実現してもよい。上記実施例
では、単音を発音する場合について説明したが、時分割
処理又はパラレル処理等によって複数チャンネルで発音
処理してもよい。上記実施例では、鍵盤によって所望楽
音を指定する電子楽器について説明したが、これに限定
されることはなく、音高指定用の演奏操作手段は鍵盤以
外のものであってもよい。また、鍵盤のない音源モジュ
ールユニット等にも同様に適用することが可能であり、
その場合は音高情報、ノートオン情報及びタッチ情報等
の演奏情報をデータ入力できるようになっていればよい
。この発明において、鍵とは鍵盤の鍵に限らず、その他
の楽音指定操作手段をも含む。なお、波形の時間的変化
の特性を制御するため、例えば波形出力を１０２４段の
ディレイ回路を利用したくし型フィルタを通す等の処理
を行ってもよい。

【００５２】また、この実施例ではニューラルネットの
入力データ（楽音データ）として、ピッチデータＰ、ピ
ッチ微分値ΔＰ、レベルデータＬ、レベル微分値ΔＬ、
イニシャルタッチデータＩＴ、アフタタッチデータＡＴ
、アフタタッチデータ微分値ΔＡＴ及びフレーム番号Ｆ
Ｎを例に説明したが、これに限定されることはなく音像
定位の位置データ、ブリリアンスパラメータデータ、又
は各種ペダルデータ等を用いてもよい。また、階層型ニ
ューラルネットの各入力層ニューロンＩ、中間層ニュー
ロできることはいうまでもない。さらに、ニューラルネ
ット係数を操作子の操作量や楽音データ等に応じて適宜
可変制御することによって新しい楽音波形信号を創造す
ることができる。

【００５３】

【発明の効果】以上のように、この発明の楽音波形発生
装置によれば記憶容量の増大化を抑えることができ、記
憶時に存在しなかった楽音波形信号であっても容易に作
成することができると共に発音開始から終了までの全波
形に渡って音色等の時間的変化を表現することができる
という優れた効果を有する。

【図面の簡単な説明】

【図１】　　（ａ）は楽音信号に基づいてニューラルネ
ットに波形信号を学習させる場合の全体構成を示し、（
ｂ）は波形信号の学習を終了した階層型ニューラルネッ
トを用いて楽音波形を作成する場合の全体構成を示す図
である。

【図２】　　図１の階層型ニューラルネットの概念を示
す図である。

【図３】　　図２の状態分析手段の１個の中間層ニュー
ロンに対応した回路構成を示す図である。

【図４】　　図２波形信号発生手段の１個の出力層ニュ
ーロンに対応した回路構成を示す図である。

【図５】　　ニューラルネット係数（シナプス結合度Ｖ
ｊｋ，Ｗｉｊ）の分析処理を説明するためのフローチャ
ート図である。

【図６】　　この発明の楽音波形発生装置を用いて構成
した電子楽器の実施例を示す図である。

【図７】　　この発明の楽音波形発生装置を用いて構成
した電子楽器の他の実施例を示す図である。

【符号の説明】

１…分析手段、２，４…階層型ニューラルネット、３…
メモリ領域、１０…鍵盤、１１…押鍵検出手段、１２…
ピッチエンベロープ信号発生手段、１３…加算器、１４
…振幅エンベロープ信号発生手段、１５，１６，２４…
微分器、１７…ピッチナンバ発生手段、１８…アキュム
レータ、１９…乗算器、２０…Ｄ／Ａ変換器、２１…サ
ウンドシステム、２２…時間カウンタ、２３…フレーム
指定回路、Ｉ…入力層ニューロン、Ｈ…中間層ニューロ
ン、Ｏ…出力層ニューロン、Ｗｉｊ，Ｖｊｋ…シナプス
結合度、Ａｊ１〜Ａｊ３，ａｉ１〜ａｉ７…加算器、Ｍ
ｊ０〜Ａｊ３，ｍｉ０〜ａｉ７…乗算器

Claims (4)

【特許請求の範囲】
1. 【請求項１】　　楽音の発生を指示するノートオン情報
   と、この楽音の音高を指示する音高情報とを少なくとも
   含む演奏情報を入力するための演奏情報入力手段と、入
   力パラメータに応じた波形信号を形成する階層型ニュー
   ラルネットによって構成され、前記演奏情報入力手段か
   ら入力される音高情報を前記入力パラメータの１つとし
   て入力することによって前記音高情報に応じた波形信号
   を形成する波形形成手段と、前記ノーオオン情報に基づ
   き、前記波形形成手段で形成された前記波形信号を前記
   音高情報に応じた音高で出力する楽音波形出力手段とか
   らなることを特徴とする楽音波形発生装置。
2. 【請求項２】　　楽音の発生を指示するノートオン情報
   と、この楽音のタッチ感度を指示するタッチ情報とを少
   なくとも含む演奏情報を入力するための演奏情報入力手
   段と、入力パラメータに応じた波形信号を形成する階層
   型ニューラルネットによって構成され、前記演奏情報入
   力手段から入力されるタッチ情報を前記入力パラメータ
   の１つとして入力することによって前記タッチ情報に応
   じた波形信号を形成する波形形成手段と、前記ノーオオ
   ン情報に基づき、前記波形形成手段で形成された前記波
   形信号を出力する楽音波形出力手段とからなることを特
   徴とする楽音波形発生装置。
3. 【請求項３】　　楽音の発生を指示するノートオン情報
   を少なくとも含む演奏情報を入力するための演奏情報入
   力手段と、前記ノートオン情報に応じて時系列的に変化
   する制御情報を発生する制御情報発生手段と、入力パラ
   メータに応じた波形信号を形成する階層型ニューラルネ
   ットによって構成され、前記制御情報発生手段から発生
   される制御情報を前記入力パラメータの１つとして入力
   することによって前記制御情報に応じた波形信号を形成
   する波形形成手段と、前記ノートオン情報に基づき、前
   記波形形成手段で形成された前記波形信号を出力する楽
   音波形出力手段とからなることを特徴とする楽音波形発
   生装置。
4. 【請求項４】　　前記波形形成手段は、前記入力パラメ
   ータの入力によって形成された波形信号と、前記楽音か
   ら抽出される楽音固有の正規化波形信号との誤差が最小
   となるように学習されたニューラルネット係数を記憶し
   ていることを特徴とする請求項１、２又は３に記載の楽
   音波形発生装置。