JP4043126B2 - 波形再生装置の制御データ生成装置 - Google Patents
波形再生装置の制御データ生成装置 Download PDFInfo
- Publication number
- JP4043126B2 JP4043126B2 JP02347799A JP2347799A JP4043126B2 JP 4043126 B2 JP4043126 B2 JP 4043126B2 JP 02347799 A JP02347799 A JP 02347799A JP 2347799 A JP2347799 A JP 2347799A JP 4043126 B2 JP4043126 B2 JP 4043126B2
- Authority
- JP
- Japan
- Prior art keywords
- syllable
- data
- control data
- waveform
- waveform data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、立体音響を形成する複数チャンネルのオーディオ音の波形データを記憶して置いてそれら複数チャンネルの波形データを立体音響で再生する波形再生装置において、波形再生にあたって用いる制御データ（例えば音節の先頭を示すマークデータなど）を生成する制御データ生成装置に関するものである。
【０００２】
演奏された一連の楽音や人の声などのオーディオ音をサンプリングして、そのサンプル値データの時系列を波形データとして記憶しておき、その波形データを再生することで楽音を生成する波形再生装置があり、かかる波形再生装置を音源として搭載する電子楽器が普及しつつある。かかる電子楽器においては、記憶された波形データ中の音節や楽音等の開始タイミング位置（先頭位置）を検出できるようにして、発音指示に従って、所望の音節や楽音の先頭位置から発音開始したり、各音節や楽音毎に音高を変えたりすることが考えられている。このタイミング位置を検出する手法としては、音量が急速に大きくなる部分を音節の立上りや楽音のアタック部と判断して検出し、その検出結果である時間軸上の位置を指示するマークを制御データとして作成して、このマークを記憶しておく方法が一般的である。
【０００３】
【発明が解決しようとする課題】
従来のこの種の波形再生装置で用いる波形データはモノラル信号であり、立体音響を形成するステレオ信号には対応していなかった。一方、ステレオ信号の波形データで上記のマークを生成する場合について考えると、例えば同じ音節についても音源の位置によってステレオ信号の右チャネルと左チャネルとでは音節の立上りに時間差が生じ得る。この場合、同じ音節等に対して右チャネルと左チャネルの各々に別々にマーク情報を付けると、マークの数が煩雑となり、波形の再生制御上取り扱い難くなる。特に、ステレオシステムにおいて同じ楽音に対して右チャネルと左チャネルの信号をそれぞれ独立して別々に作成する手法が従来からあるが、この場合には左右のチャネルの時間差が大きくなることが多いので問題となる。
【０００４】
本発明はかかる問題点に鑑みてなされたものであり、立体音響用の複数チャンネルの波形データに適した制御データを簡単かつ自動的に作成することを目的とする。
【０００５】
【課題を解決するための手段】
本発明は、立体音響を形成する複数チャンネルのオーディオ音の波形データを記憶しておいてそれら複数チャンネルの波形データを立体音響を形成するよう再生する波形再生装置で用いる制御データを生成する制御データ生成装置に関するものである。
【０００６】
上述の課題を解決するために、本発明に係る制御データ生成装置は、一の形態として、複数チャンネルのうちから選ばれた１チャンネルの波形データについて、その波形データで表されるオーディオ音の特性が時間軸上において急激に変化する変化点を検出してその変化点の時間軸上の位置を示す制御データを生成する変化点検出手段と、変化点検出手段で生成された制御データを記憶する制御テーブルを生成する制御テーブル生成手段とを備えたものである。
この波形データで表されるオーディオ音の特性が時間軸上において急激に変化する変化点としては、振幅値が急激に増大する点（すなわち音節や楽音の立上り部分）やピッチが急激に変化する点などとすることができる。
この制御データ生成装置では、変化点検出手段は、一つのチャンネルについてその波形データで表されるオーディオ音の特性が時間軸上において急激に変化する変化点を検出してその変化点の時間軸上の位置を示す制御データを生成する。制御テーブル生成手段は、変化点検出手段で生成された制御データを記憶する制御テーブルを生成する。
これにより、同じ音の特性変化に基づいて複数の制御データが生成されて制御テーブルに重複して記録されることを防止できる。波形の再生にあたってはこの制御テーブルの制御データを参照して制御動作を行うことができる。
【０００７】
また、本発明に係る制御データ生成装置は、他の形態として、複数チャンネルの波形データのそれぞれについて、該波形データで表されるオーディオ音の特性が時間軸上において急激に変化する変化点を検出してその変化点の時間軸上の位置を示す制御データを生成する変化点検出手段と、変化点検出手段で生成された制御データを記憶する制御テーブルを、所定時間以内に複数のチャンネルそれぞれに生じた変化点の制御データについてはいずれか一つに統合して、生成する制御テーブル生成手段とを備えたものである。この波形データで表されるオーディオ音の特性が時間軸上において急激に変化する変化点としては、振幅値が急激に増大する点（すなわち音節や楽音の立上り部分）やピッチが急激に変化する点などとすることができる。この制御データ生成装置では、変化点検出手段は、複数チャンネルの波形データのそれぞれについて、該波形データで表されるオーディオ音の特性が時間軸上において急激に変化する変化点を検出してその変化点の時間軸上の位置を示す制御データを生成する。制御テーブル生成手段は、変化点検出手段で生成された制御データを記憶する制御テーブルを生成するにあたり、所定時間以内に複数のチャンネルそれぞれに生じた変化点の制御データについてはいずれか一つに統合する。これにより、同じ音の特性変化に基づいて複数の制御データが生成されて制御テーブルに重複して記録されることを防止できる。波形の再生にあたってはこの制御テーブルの制御データを参照して制御動作を行うことができる。
【０００８】
また、上述の他の形態の制御データ生成装置における制御テーブル生成手段は，上記複数のチャンネルの波形データのそれぞれについてその全部にわたる制御データを一旦生成し、その生成された複数のチャンネルの制御データのうち時間軸上で所定時間以内にある制御データはいずれか一つのチャンネルの制御データに統合する、例えば前記所定時間以内で最初に検出された制御データをその音の制御データとして統合するもので構成できる。あるいは、上記の他の形態の制御データ生成装置における変化点検出手段は，上記複数のチャンネルの波形データのそれぞれについて逐次に並行して制御データを生成していき、１のチャンネルで変化点が検出されたらその変化点から所定時間内は何れのチャンネルの波形データの特性の変化も無視するもので構成できる。
【０００９】
また、本発明に係る制御データ生成装置は、また他の形態として、複数チャンネルの波形データを一つの波形データに合成する合成手段と、合成手段で合成された波形データで表されるオーディオ音の特性が時間軸上において急激に変化する変化点を検出してその変化点の時間軸上の位置を示す制御データを生成する変化点検出手段と、変化点検出手段で生成された制御データを記憶する制御テーブルを生成する制御テーブル生成手段とを備えたものである。
この波形データで表されるオーディオ音の特性が時間軸上において急激に変化する変化点としては、振幅値が急激に増大する点（すなわち音節や楽音の立上り部分）やピッチが急激に変化する点などとすることができる。
この制御データ生成装置では、合成手段は、複数チャンネルの波形データを一つの波形データに合成するしてモノラル信号化を図る。変化点検出手段は、このモノラル化された波形データで表されるオーディオ音の特性が時間軸上において急激に変化する変化点を検出してその変化点の時間軸上の位置を示す制御データを生成する。制御テーブル生成手段は、変化点検出手段で生成された制御データを記憶する制御テーブルを生成する。
これにより、同じ音の特性変化に基づいて複数の制御データが生成されて制御テーブルに重複して記録されることを防止できる。波形の再生にあたってはこの制御テーブルの制御データを参照して制御動作を行うことができる。
【００１０】
また本発明に係る記録媒体は、上記いずれかの形態の制御データ生成装置における各手段として機能させるためのプログラムを記憶したコンピュータ読取り可能な記録媒体からなる。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図２には本発明の一実施例としての波形再生装置の制御データ生成装置をパーソナルコンピュータで実現した場合のハードウェア構成が示される。図２において、ＣＰＵ１は装置全体の制御を司る中央処理装置である。ＲＯＭ２は制御プログラム（ＯＳなど）やテーブル等を記憶しているリード・オンリー・メモリ、ＲＡＭ３はＣＰＵの作業用メモリを提供するランダム・アクセス・メモリである。操作子４はコンピュータ用キーボードやコンピュータ本体に取り付けられた各種スイッチ類、あるいは鍵盤装置（キーボード）などからなる。表示手段５はＣＲＴ表示装置や液晶表示装置などの表示装置が利用できる。
【００１２】
６はハードディスク装置であり、インストールされた各種のアプリケーションプログラムや各種のオーディオ波形データを格納している。オーディオ波形データは、一般には、演奏した楽音や人声などの１フレーム分のオーディオ音を、立体音響を形成するよう左右の２チャンネルでサンプリング等して得たサンプル値データの時系列からなるものであるが、この実施形態では人の声の波形を例として用いる。なお、この波形データはサンプリング録音の他、シーケンサなどで作成した楽音の振幅値データの時系列であってもよい。Ｄ／Ａ変換器７は本システムで再生したオーディオ波形信号（ディジタル値）をディジタル／アナログ変換して出力する。このオーディオ波形信号（アナログ値）は図示しないオーディオシステムに入力されて放音される。
【００１３】
図３は上記のコンピュータシステムを機能ブロックで表現したものである。大まかにはマーク付与装置２０と波形再生装置２１とからなり、マーク付与装置２０では波形データに基づいてその音節等の先頭に相当する位置を示すマークデータを生成して制御用のテーブルを作成する。以下、この制御用のテーブルをこの実施形態では音節テーブルと称する。
【００１４】
波形再生装置２１は、立体音響を形成する左右の２チャンネルのオーディオ音の波形データを記憶しておいてそれら複数チャンネルの波形データを再生することでオーディオ音を立体音響で再生する装置であり、波形データの再生にあたっては、各音節を指示された音高で再生したり、指示された音節の先頭から演奏開始したり、タイムストレッチを行ったり、音色加工したりなどの各種の操作が可能である。
【００１５】
詳細には、マーク付与部２０は、オーディオ音の波形データを記憶する波形メモリ２２、この波形メモリ２２の波形データ中から音節等の先頭を検出してマークを付与しそのマークを書き込んだ音節テーブルを生成するマーク付与処理部２３、波形データとともに音節テーブルを記憶する波形メモリ２４などからなる。また波形再生装置２１は、波形メモリ２４の波形データと音節テーブル等に基づいて波形データを再生する再生部２６とその再生波形の音高等を指示する音高指示部２５などからなる。
【００１６】
図３には上述の音声テーブルの構成が示される。波形データを構成するサンプル値データの時系列を逐次に検査してその振幅値データが急激に立ち上がる部分（変化点）を音節（シラブル）の先頭位置と判断し、その時間軸上の位置情報をマークＭとしてこの音節テーブルに逐次に格納するものである。波形データは１アドレスあたり１サンプル値データの割合で、メモリのシーケンシャルなアドレス領域に格納されており、上記の時間軸上の位置情報は、波形データの先頭位置のアドレスから何番目のアドレスか（すなわち何番目のサンプル値データか）を相対アドレス指定により示したものである。この波形データは複数の音節が時系列に並べられたものから構成されており、このうちのｎ番目の音節の先頭を表すマーク（アドレス）はＭ（ｎ）で表され、音節テーブルにはかかるｎ個の音節のマークＭ（１）〜Ｍ（ｎ）が順番に並べられて記憶される。さらに、この音節テーブルには、各音節を再生する際の音高Ｎも各音節対応に記憶されており、ｎ番目の音節の音高はＮ（ｎ）で表される。
【００１７】
なお、この音節テーブルへのデータの追加書込み処理は、基本的には、図５に示すように、波形データ中の音節をその先頭側から順次に検出していき、例えばいまｎ番目の音節の先頭を検出すると、音節テーブルのｎ番目の欄にマークＭ（ｎ）を書き込み、その後、次に検出した音節のマークを書き込む準備としてｎの値を一つインクリメントする処理を繰り返すことによる。
【００１８】
以下、この実施例装置による音節テーブル作成動作を説明する。この実施例装置では、以下の４つの方式Ｉ〜VIのうちから任意に選択した方式で音節テーブルを作成することができる。まず、これらの方式Ｉ〜VIの概略について説明すると以下のとおりである。
【００１９】
〔方式Ｉ〕
方式Ｉは、立体音響を形成する左右（Ｌ，Ｒ）チャンネルのオーディオ波形のうちの一方のチャンネル（片チャンネル）についてのみ、音節の立上り（先頭）を検出し、その先頭位置に対応するマークを求めて音節テーブルを作成する。
【００２０】
〔方式IIと方式III 〕
方式II、III は、図１（１）に示すように、立体音響を形成する左右のチャンネルのオーディオ波形のうち、同じ音節について先に立ち上がったチャンネル側についてマークを作成し、その位置から所定時間β以内の立上りについては左右チャンネルともこれを無視することで、同じ音節についての左右のチャンネルのマークを一つに統合して、音節テーブルを作成する。
【００２１】
〔方式VI〕
方式VIは、図１（２）に示すように、立体音響を形成する左右のチャンネルのオーディオ波形それぞれの絶対値をとってこれを加算合成し（モノラル化）、そのモノラル化したオーディオ波形について音節の立上りを検出してマークを生成し音声テーブルを作成する。
【００２２】
上述の方式Ｉの音節テーブル作成処理を以下に説明する。図７はこの方式Ｉの音節テーブル作成処理の手順を示したフローチャートである。まず、左右のチャンネルのうちの一方を選んで（この例では左（Ｌ）チャンネルの波形データを選んだものとする）、この左チャンネル側の波形データをハードディスク装置６からＲＡＭ３にコピーしておく。そして、その左チャンネルの波形データについてその先頭側から順番にサンプル値データを読み出し（ステップＳ１）。そのサンプル値データを読み出したアドレスを後述の読出基準アドレスａとして、この読出基準アドレスａの前後近傍（後述するウィンドウ）の波形データに対して次に説明する立上り検出を行って、音節の立上り部分が検出されたか否かを判定する（ステップＳ２）。
【００２３】
この立上り検出は図６に示す方法による。図６（１）は波形データによるオーディオ波形を示しており、二つの音節が続いている状態を示している。このうちの後ろ側の音節の先頭部分を拡大したもの（縦の振幅軸は圧縮）が図６（２）である。このオーディオ波形に対してａ、ｂ、ｃの３点（アドレス）で構成するウィンドウを適用して音節波形の立上りを検出する。このウィンドウは、読出し基準アドレスａを中心に、その前側にａ〜ｂの第１の区間、後ろ側にａ〜ｃの第２の区間を有しており、第１の区間は第２の区間よりも広くとる。検出原理は以下の通りである。
【００２４】
１．読出し基準アドレスａから前のアドレスｂまでの第１の所定区間（ａ−ｂ）の波形データを読み出してその絶対値をとり、第１の所定区間（ａ−ｂ）のデータの平均値を演算して第１の平均値とする。
２．読出し基準アドレスａより後ろのアドレスｃまでの第２の所定区間（ａ−ｃ）の波形データを読み出してその絶対値をとり、第２の所定区間（ａ−ｃ）のデータの平均値を演算して第２の平均値とする。
３．第２の平均値を第１の平均値で割算する。
４．割算の結果が所定の値以上であれば、その読出し基準アドレスａの位置は音量（つまり振幅値）が急激に大きくなっている箇所であると判断し、その読出し基準アドレスａを音節の立上り部（楽音であればアタック部）と判断する。
【００２５】
なお、上記の第１の所定区間（ａ−ｂ）の長さ、第２の所定区間（ａ−ｃ）の長さ、割算によって算出した商から立上りを判断する値などは、それぞれ実験によって適当な値を予め決めておく。
【００２６】
上記のステップＳ３にて音節の立上りが検出されない場合には、波形データの読出しアドレスを一つ進める。
一方、音節の立上りが検出されたときには、そのときの読出アドレス（読出基準アドレスａ）をマークデータＭ（ｎ）として音節テーブルに追加する。この後、次にサンプル値データを読み出すための読出アドレスを、予め設定された時間αに相当するアドレス幅だけ進める。これは、音節の立上り付近では、上述の立上り検出処理で立上り検出をすると複数の箇所で立上りが検出される可能性があり、かかる複数の立上りを全てマークデータとして保存するとむしろ制御上の邪魔となるので、立上りが一つ検出されたら、その位置から設定時間α分だけ読み飛ばしてノイズ的なマークデータの発生を抑制しているものである。
【００２７】
次に、ステップＳ３またはＳ５で更新した読出しアドレスが波形データ中の最後のサンプル値データに対応するアドレスを超えたか否かを判定する（ステップＳ６）。このアドレスを超えていなければ、上記ステップＳ１以降の処理を繰り返す。最後のアドレスを超えていれば、音節テーブル作成処理を終了する。以上の処理により、方式Ｉによる音節テーブルを作成することができる。
【００２８】
次に、方式IIの音節テーブル作成処理を説明する。図８はこの方式IIの音節テーブル作成処理の手順を示したフローチャートである。上述したように、方式IIと方式III は、左右のチャンネルについて音節の立上りを検出し、同じ音節についての左右のチャンネルのマークを一つに統合するものであるが、このうちの方式IIは、左（Ｌ）チャンネルの波形データ全部と右（Ｒ）チャンネルの波形データ全部についてそれぞれ別々に音節の立上り検出を行って各々の音節テーブルをいったん作成した後に、それら左チャンネルの音節テーブルと右チャンネルの音節テーブルを一つに纏めて、左右のチャンネルの接近した位置にあるマークを一つに統合するものである。
【００２９】
図８において、ステップＳ１１からステップＳ１６までは上述した方式Ｉの処理（ステップＳ１〜Ｓ６）と同じものであり、この処理により左チャンネルの音節テーブルを作成することができる。次に続くステップＳ１７は右チャンネルの波形データを処理対象とするために読出アドレスを波形データの先頭アドレスに戻す処理である。ステップＳ１８からステップＳ２３までは、右チャンネルの波形データを処理対象としていること以外は、上述した方式Ｉ（ステップＳ１〜Ｓ６）の処理と同じものであり、この処理により右チャンネルの音節テーブルを作成することができる。
【００３０】
このようにして作成した左チャンネルの音節テーブルと右チャンネルの音節テーブルとを一つに統合する（ステップＳ２４）。この処理は、各音節テーブルのマークについて、設定時間β以内に複数のマークがあるときには、そのうちの先頭の一つを残して他のマークを除去することでマークを一つに統合するものである。
【００３１】
図９はこのマーク除去処理の詳細な手順を示すフローチャートである。まず、左チャンネルの音節テーブルと右チャンネルの音節テーブルの各マークをその時間軸上の順番に従って並べるようソートして一つの音節テーブルにする（ステップＳ２４１）。
【００３２】
この後、音節番号を示すための変数ｎを「０」にリセットする。このｎ番目の音節の次の音節を示す値（ｎ＋１）が波形データ中の最後の音節の番号を超えたか否か判定する（ステップＳ２４３）。超えていれば、いま注目しているｎ番目の音節で処理を全て終了したことになるので、このマーク除去処理を終了する。超えていなければ、いま注目しているｎ番目の音節のマークＭ（ｎ）とその次の（ｎ＋１）番目の音節のマークＭ（ｎ＋１）との間の時間間隔が設定時間β以上離れているか否かを判定する（ステップＳ２４４）。
【００３３】
この時間間隔が設定時間βよりも小さければ（ステップＳ２４４）、それらｎ番目と（ｎ＋１）番目のマークＭ（ｎ）とＭ（ｎ＋１）は同じ音節に基づいて生成されたマークであると判断して後者のマークＭ（ｎ＋１）を消去し（ステップＳ２４６）、マークの統合を図る。なお、この消去の処理では、消去したマークＭ（ｎ＋１）の次のマークＭ（ｎ＋２）を新たなマークＭ（ｎ＋１）とし、以降のマークを順次に前につめる処理を行う。
【００３４】
一方、上記時間間隔が設定時間β以上離れていれば（ステップＳ２４４）、それらｎ番目と（ｎ＋１）番目のマークＭ（ｎ）とＭ（ｎ＋１）はそれぞれ別々の音節に基づいて生成されたマークデータであると判断して、変数ｎの値を一つインクリメントして（ステップＳ２４５）、ステップＳ２４３以降の処理を繰り返す。
【００３５】
次に、方式III の音節テーブル作成処理を説明する。図１０はこの方式III の音節テーブル作成処理の手順を示したフローチャートである。この方式III も方式IIと同様に左右のチャンネルについて音節の立上りを検出して同じ音節についての左右のチャンネルのマークを一つに統合するものであるが、その手法が方式IIとは異なっている。すなわち、この方式III では左チャンネルと左チャンネルの両方について同時刻のサンプル値データを同時的に読み出して立上り検出を行い、立上りが検出されたらその検出結果をマークとして音節テーブルに追加するとともに、次の読出みアドレスをその検出位置から所定時間βだけ飛ばすというものである。
【００３６】
図１０において、まず左チャンネルの波形データ中からサンプル値データを読み込み（ステップＳ３１）、そのサンプル値データのアドレスを読出基準アドレスａとして音節の立上り検出を行い（ステップＳ３２）、立上りが検出されなかったときには同じい読出アドレスで右チャンネルの波形データ中からサンプル値データを読み込んで（ステップＳ３３）、音節の立上り検出を行う（ステップＳ３４）。左チャンネルまたは右チャンネルの波形データから音節の立上りが検出されたときには（ステップＳ３２、Ｓ３４）、その検出結果を音節ケーブルに追加する処理を行って（ステップＳ３６）、読出アドレスを設定時間β分だけ進め（ステップＳ３７）、立上りが検出されなかったときには読出アドレスを一つだけインクリメントして（ステップＳ３５）、その更新した読出アドレスが波形データの最後のアドレスを超えたか判定し（ステップＳ３８）、超えていなければステップＳ３１に戻って処理を繰り返し、超えていればこの音節テーブル作成処理を終了する。
【００３７】
次に方式VIの音節テーブル作成処理を以下に説明する。図１１はこの方式VIの音節テーブル作成処理の手順を示したフローチャートである。前述したように、この方式VIは、左右チャンネルの波形データから音声テーブル作成作業用のモノラル信号を作って、このモノラル信号の波形データから音節の立上り部分を検出し音節テーブルを作成するものである。
【００３８】
図１１において、同じ読出アドレスを用いて左右のチャンネルの波形データのサンプル値を読み出して（ステップＳ４１）、それらの絶対値をとり（ステップＳ４２）、それらを足し合わせてモノラル信号を作成する（ステップＳ４３）。この処理を左右のチャンネルの波形データの全長（全サンプル値データ）にわたり行う（ステップＳ４１〜Ｓ４３）。なお、上記のように左右チャンネルの波形データをモノラル化する際に絶対値をとるのは、各サンプル値データの位相の関係で両者が相殺しないにするためである。
【００３９】
その後に読出アドレスを先頭アドレスに戻し（ステップＳ４４）、上記作成したモノラル信号の波形データについて音節テーブル作成処理を行う（ステップＳ４５〜Ｓ４９）。このステップＳ４５〜Ｓ４９の処理は前述の方式Ｉについての音節テーブル作成処理（Ｓ１〜Ｓ６）と同じであるので、詳細な説明は省略する。
【００４０】
次に、上記音節テーブルを用いてこの波形再生装置で、音節を持った波形データを再生するときの制御動作についても述べておく。この制御動作の概要が図１２に示される。この波形再生では、フレーズ自体はオリジナルの再生速度で再生し、各音節の音高をそれらが再生される前に予め指示しておき、再生時間がきたらその指示音高で再生するというものである。図１２に示すように、波形データは複数の音節が１、２、３、４、５・・・番目というように連続しているものであり、それぞれの音節に対してその再生に先立って操作子により音高が予め指示されており（図中の縦軸が音高の大小を示す）、再生される各音節はその指示された音高となる。
【００４１】
図１３はこの各音節の音高を指示する処理を示すフローチャートであり、波形データを再生する前に、音節テーブル中の各音節の音高を指示して音節テーブルに各音節対応に記録しておく。まず、音節の番号を示す変数ｎを「０」にリセットし（ステップＳ５１）、この音節番号ｎが最後の音節の値になったか判定し（ステップＳ５２）、最後の音節でなければ音高指示操作子が操作されたか判定し（ステップＳ５３）、音高指示の操作がされていればその指示された音高Ｎ（ｎ）を音節テーブルの音節番号ｎの欄に書き込んで（ステップＳ５４）、音節番号ｎを一つインクリメントし（ステップＳ５５）、ステップＳ５２に戻って処理を繰り返す。音高指示操作子が操作されていないときも同様にステップＳ５２に戻って処理を繰り返す。これを音節テーブル中の最後の音節まで行ったら、このフローを終了する。これにより、音節テーブル中の各音節に対してそれを再生する際の音高Ｎ（ｎ）を記録することができる。
【００４２】
次に、この音節テーブルを用いて音高を制御しつつ波形再生する動作を説明する。図１４は波形再生処理を示すフローチャートである。音節番号を示す変数ｎを「０」にリセットし（ステップＳ５６０）、左右のチャンネルの波形データについて、マークＭ（ｎ）で示される音節以降の波形データについては、音節テーブルに書かれている音高Ｎ（ｎ）で発音し（ステップＳ６１）、この音節番号が音節テーブル中の最後の音節か判定し（ステップＳ６２）、最後の音節でなければ音節番号ｎを一つインクリメントしてステップＳ６１以降の処理を繰り返す。最後の音節となったら（ステップＳ６２）、再生処理を終了する。
【００４３】
本発明の実施にあたっては種々の変形形態が可能である。例えば上述の実施例では、波形データとして人の声を例に用い、したがってマークは音節の立上り毎に設定するようにしたが、本発明はこれに限られるものでなく、オーディオ波形データとして楽器の音の波形を用いるものであってよい。この場合、各楽音の立上りはアタック部分となり、ここでも急激な振幅の増大があるので、上述したと同じ原理で検出が可能である。また、マークを付与する位置を必ずしも音節や楽音の先頭位置に限らず、オーディオ音中の音量が急激に変化する位置を変化点としてマークを付与するものであってもよい。
【００４４】
また、上述の実施例では音量（振幅）が急激に変化する点を波形の変化点としてその変化点にマークを付与したが、本発明はこれに限られるものでなく、例えばピッチが急激に変化する点（時間軸上の位置）を検出してその変化点にマークを付与するものであってもよい。このような検出は、例えば検出ピッチを前回の検出ピッチと比較して、音階の半音以上に相当するピッチ変化があった部分を変化点とすればよい。このようにピッチの変化がある部分は波形データ中の何らかの音の切れ目（または音の質の変化がある点）であることが多いから、このように変化点にマークを付与することでもそのマーク情報を波形再生の制御に用いることができる。
【００４５】
以上の実施例では、本発明をパーソナルコンピュータで実現した場合について述べたが、もちろん本発明はこれに限られることなく、本発明を電子楽器という専用のハードウェア装置で実現するものであってもよい。なお、パーソナルコンピュータで実現する際には、上述の各フローチャートに対応する各機能実現手段として機能させるためのプログラムを、コンピュータ読取り可能な記録媒体、例えばコンパクトディスク（ＣＤ）、フロッピィディスク（ＦＤ）、磁気テープ、光ディスクなどの記録媒体に格納しておき、これをパーソナルコンピュータにインストールして本発明装置を実現できる。
【００４６】
【発明の効果】
以上に説明したように、本発明によれば、立体音響用の複数チャンネルの波形データに適した制御データを簡単かつ自動的に作成できる。
【図面の簡単な説明】
【図１】本発明にかかる制御データの作成方式の概要を説明するための図である。
【図２】本発明に係る一実施例としての波形再生装置の制御データ生成装置を実現するパーソナルコンピュータ・システムのハードウェア構成を示す図である。
【図３】実施例装置を機能ブロック構成で表現した図である。
【図４】実施例装置で用いられる音節テーブルのデータ構造を示す図である。
【図５】実施例装置での音節テーブルのマーク追加処理を行うための一般的な方法を説明するフローチャートである。
【図６】実施例装置における音節等の立上り検出演算を説明する図である。
【図７】実施例装置における方式Ｉの音節テーブル作成処理の手順を示すフローチャートである。
【図８】実施例装置における方式IIの音節テーブル作成処理の手順を示すフローチャートである。
【図９】実施例装置の方式IIの音節テーブル作成処理ルーチン中のマーク除去処理の詳細な手順を示すフローチャートである。
【図１０】実施例装置における方式III の音節テーブル作成処理の手順を示すフローチャートである。
【図１１】実施例装置における方式VIの音節テーブル作成処理の手順を示すフローチャートである。
【図１２】実施例装置による再生時の制御動作の例を概要的に示す図である。
【図１３】実施例装置において音節テーブルに再生波形の音高指示をする例を示すフローチャートである。
【図１４】実施例装置において波形データの再生時に音節テーブルに基づいて音高制御を行う例を示すフローチャートである。
【符号の説明】
１ ＣＰＵ（中央処理装置）
２ ＲＯＭ（リード・オンリー・メモリ）
３ ＲＡＭ（ランダム・アクセス・メモリ）
４ 操作子
５ 表示手段
６ ハードディスク装置
【発明の属する技術分野】
本発明は、立体音響を形成する複数チャンネルのオーディオ音の波形データを記憶して置いてそれら複数チャンネルの波形データを立体音響で再生する波形再生装置において、波形再生にあたって用いる制御データ（例えば音節の先頭を示すマークデータなど）を生成する制御データ生成装置に関するものである。
【０００２】
演奏された一連の楽音や人の声などのオーディオ音をサンプリングして、そのサンプル値データの時系列を波形データとして記憶しておき、その波形データを再生することで楽音を生成する波形再生装置があり、かかる波形再生装置を音源として搭載する電子楽器が普及しつつある。かかる電子楽器においては、記憶された波形データ中の音節や楽音等の開始タイミング位置（先頭位置）を検出できるようにして、発音指示に従って、所望の音節や楽音の先頭位置から発音開始したり、各音節や楽音毎に音高を変えたりすることが考えられている。このタイミング位置を検出する手法としては、音量が急速に大きくなる部分を音節の立上りや楽音のアタック部と判断して検出し、その検出結果である時間軸上の位置を指示するマークを制御データとして作成して、このマークを記憶しておく方法が一般的である。
【０００３】
【発明が解決しようとする課題】
従来のこの種の波形再生装置で用いる波形データはモノラル信号であり、立体音響を形成するステレオ信号には対応していなかった。一方、ステレオ信号の波形データで上記のマークを生成する場合について考えると、例えば同じ音節についても音源の位置によってステレオ信号の右チャネルと左チャネルとでは音節の立上りに時間差が生じ得る。この場合、同じ音節等に対して右チャネルと左チャネルの各々に別々にマーク情報を付けると、マークの数が煩雑となり、波形の再生制御上取り扱い難くなる。特に、ステレオシステムにおいて同じ楽音に対して右チャネルと左チャネルの信号をそれぞれ独立して別々に作成する手法が従来からあるが、この場合には左右のチャネルの時間差が大きくなることが多いので問題となる。
【０００４】
本発明はかかる問題点に鑑みてなされたものであり、立体音響用の複数チャンネルの波形データに適した制御データを簡単かつ自動的に作成することを目的とする。
【０００５】
【課題を解決するための手段】
本発明は、立体音響を形成する複数チャンネルのオーディオ音の波形データを記憶しておいてそれら複数チャンネルの波形データを立体音響を形成するよう再生する波形再生装置で用いる制御データを生成する制御データ生成装置に関するものである。
【０００６】
上述の課題を解決するために、本発明に係る制御データ生成装置は、一の形態として、複数チャンネルのうちから選ばれた１チャンネルの波形データについて、その波形データで表されるオーディオ音の特性が時間軸上において急激に変化する変化点を検出してその変化点の時間軸上の位置を示す制御データを生成する変化点検出手段と、変化点検出手段で生成された制御データを記憶する制御テーブルを生成する制御テーブル生成手段とを備えたものである。
この波形データで表されるオーディオ音の特性が時間軸上において急激に変化する変化点としては、振幅値が急激に増大する点（すなわち音節や楽音の立上り部分）やピッチが急激に変化する点などとすることができる。
この制御データ生成装置では、変化点検出手段は、一つのチャンネルについてその波形データで表されるオーディオ音の特性が時間軸上において急激に変化する変化点を検出してその変化点の時間軸上の位置を示す制御データを生成する。制御テーブル生成手段は、変化点検出手段で生成された制御データを記憶する制御テーブルを生成する。
これにより、同じ音の特性変化に基づいて複数の制御データが生成されて制御テーブルに重複して記録されることを防止できる。波形の再生にあたってはこの制御テーブルの制御データを参照して制御動作を行うことができる。
【０００７】
また、本発明に係る制御データ生成装置は、他の形態として、複数チャンネルの波形データのそれぞれについて、該波形データで表されるオーディオ音の特性が時間軸上において急激に変化する変化点を検出してその変化点の時間軸上の位置を示す制御データを生成する変化点検出手段と、変化点検出手段で生成された制御データを記憶する制御テーブルを、所定時間以内に複数のチャンネルそれぞれに生じた変化点の制御データについてはいずれか一つに統合して、生成する制御テーブル生成手段とを備えたものである。この波形データで表されるオーディオ音の特性が時間軸上において急激に変化する変化点としては、振幅値が急激に増大する点（すなわち音節や楽音の立上り部分）やピッチが急激に変化する点などとすることができる。この制御データ生成装置では、変化点検出手段は、複数チャンネルの波形データのそれぞれについて、該波形データで表されるオーディオ音の特性が時間軸上において急激に変化する変化点を検出してその変化点の時間軸上の位置を示す制御データを生成する。制御テーブル生成手段は、変化点検出手段で生成された制御データを記憶する制御テーブルを生成するにあたり、所定時間以内に複数のチャンネルそれぞれに生じた変化点の制御データについてはいずれか一つに統合する。これにより、同じ音の特性変化に基づいて複数の制御データが生成されて制御テーブルに重複して記録されることを防止できる。波形の再生にあたってはこの制御テーブルの制御データを参照して制御動作を行うことができる。
【０００８】
また、上述の他の形態の制御データ生成装置における制御テーブル生成手段は，上記複数のチャンネルの波形データのそれぞれについてその全部にわたる制御データを一旦生成し、その生成された複数のチャンネルの制御データのうち時間軸上で所定時間以内にある制御データはいずれか一つのチャンネルの制御データに統合する、例えば前記所定時間以内で最初に検出された制御データをその音の制御データとして統合するもので構成できる。あるいは、上記の他の形態の制御データ生成装置における変化点検出手段は，上記複数のチャンネルの波形データのそれぞれについて逐次に並行して制御データを生成していき、１のチャンネルで変化点が検出されたらその変化点から所定時間内は何れのチャンネルの波形データの特性の変化も無視するもので構成できる。
【０００９】
また、本発明に係る制御データ生成装置は、また他の形態として、複数チャンネルの波形データを一つの波形データに合成する合成手段と、合成手段で合成された波形データで表されるオーディオ音の特性が時間軸上において急激に変化する変化点を検出してその変化点の時間軸上の位置を示す制御データを生成する変化点検出手段と、変化点検出手段で生成された制御データを記憶する制御テーブルを生成する制御テーブル生成手段とを備えたものである。
この波形データで表されるオーディオ音の特性が時間軸上において急激に変化する変化点としては、振幅値が急激に増大する点（すなわち音節や楽音の立上り部分）やピッチが急激に変化する点などとすることができる。
この制御データ生成装置では、合成手段は、複数チャンネルの波形データを一つの波形データに合成するしてモノラル信号化を図る。変化点検出手段は、このモノラル化された波形データで表されるオーディオ音の特性が時間軸上において急激に変化する変化点を検出してその変化点の時間軸上の位置を示す制御データを生成する。制御テーブル生成手段は、変化点検出手段で生成された制御データを記憶する制御テーブルを生成する。
これにより、同じ音の特性変化に基づいて複数の制御データが生成されて制御テーブルに重複して記録されることを防止できる。波形の再生にあたってはこの制御テーブルの制御データを参照して制御動作を行うことができる。
【００１０】
また本発明に係る記録媒体は、上記いずれかの形態の制御データ生成装置における各手段として機能させるためのプログラムを記憶したコンピュータ読取り可能な記録媒体からなる。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図２には本発明の一実施例としての波形再生装置の制御データ生成装置をパーソナルコンピュータで実現した場合のハードウェア構成が示される。図２において、ＣＰＵ１は装置全体の制御を司る中央処理装置である。ＲＯＭ２は制御プログラム（ＯＳなど）やテーブル等を記憶しているリード・オンリー・メモリ、ＲＡＭ３はＣＰＵの作業用メモリを提供するランダム・アクセス・メモリである。操作子４はコンピュータ用キーボードやコンピュータ本体に取り付けられた各種スイッチ類、あるいは鍵盤装置（キーボード）などからなる。表示手段５はＣＲＴ表示装置や液晶表示装置などの表示装置が利用できる。
【００１２】
６はハードディスク装置であり、インストールされた各種のアプリケーションプログラムや各種のオーディオ波形データを格納している。オーディオ波形データは、一般には、演奏した楽音や人声などの１フレーム分のオーディオ音を、立体音響を形成するよう左右の２チャンネルでサンプリング等して得たサンプル値データの時系列からなるものであるが、この実施形態では人の声の波形を例として用いる。なお、この波形データはサンプリング録音の他、シーケンサなどで作成した楽音の振幅値データの時系列であってもよい。Ｄ／Ａ変換器７は本システムで再生したオーディオ波形信号（ディジタル値）をディジタル／アナログ変換して出力する。このオーディオ波形信号（アナログ値）は図示しないオーディオシステムに入力されて放音される。
【００１３】
図３は上記のコンピュータシステムを機能ブロックで表現したものである。大まかにはマーク付与装置２０と波形再生装置２１とからなり、マーク付与装置２０では波形データに基づいてその音節等の先頭に相当する位置を示すマークデータを生成して制御用のテーブルを作成する。以下、この制御用のテーブルをこの実施形態では音節テーブルと称する。
【００１４】
波形再生装置２１は、立体音響を形成する左右の２チャンネルのオーディオ音の波形データを記憶しておいてそれら複数チャンネルの波形データを再生することでオーディオ音を立体音響で再生する装置であり、波形データの再生にあたっては、各音節を指示された音高で再生したり、指示された音節の先頭から演奏開始したり、タイムストレッチを行ったり、音色加工したりなどの各種の操作が可能である。
【００１５】
詳細には、マーク付与部２０は、オーディオ音の波形データを記憶する波形メモリ２２、この波形メモリ２２の波形データ中から音節等の先頭を検出してマークを付与しそのマークを書き込んだ音節テーブルを生成するマーク付与処理部２３、波形データとともに音節テーブルを記憶する波形メモリ２４などからなる。また波形再生装置２１は、波形メモリ２４の波形データと音節テーブル等に基づいて波形データを再生する再生部２６とその再生波形の音高等を指示する音高指示部２５などからなる。
【００１６】
図３には上述の音声テーブルの構成が示される。波形データを構成するサンプル値データの時系列を逐次に検査してその振幅値データが急激に立ち上がる部分（変化点）を音節（シラブル）の先頭位置と判断し、その時間軸上の位置情報をマークＭとしてこの音節テーブルに逐次に格納するものである。波形データは１アドレスあたり１サンプル値データの割合で、メモリのシーケンシャルなアドレス領域に格納されており、上記の時間軸上の位置情報は、波形データの先頭位置のアドレスから何番目のアドレスか（すなわち何番目のサンプル値データか）を相対アドレス指定により示したものである。この波形データは複数の音節が時系列に並べられたものから構成されており、このうちのｎ番目の音節の先頭を表すマーク（アドレス）はＭ（ｎ）で表され、音節テーブルにはかかるｎ個の音節のマークＭ（１）〜Ｍ（ｎ）が順番に並べられて記憶される。さらに、この音節テーブルには、各音節を再生する際の音高Ｎも各音節対応に記憶されており、ｎ番目の音節の音高はＮ（ｎ）で表される。
【００１７】
なお、この音節テーブルへのデータの追加書込み処理は、基本的には、図５に示すように、波形データ中の音節をその先頭側から順次に検出していき、例えばいまｎ番目の音節の先頭を検出すると、音節テーブルのｎ番目の欄にマークＭ（ｎ）を書き込み、その後、次に検出した音節のマークを書き込む準備としてｎの値を一つインクリメントする処理を繰り返すことによる。
【００１８】
以下、この実施例装置による音節テーブル作成動作を説明する。この実施例装置では、以下の４つの方式Ｉ〜VIのうちから任意に選択した方式で音節テーブルを作成することができる。まず、これらの方式Ｉ〜VIの概略について説明すると以下のとおりである。
【００１９】
〔方式Ｉ〕
方式Ｉは、立体音響を形成する左右（Ｌ，Ｒ）チャンネルのオーディオ波形のうちの一方のチャンネル（片チャンネル）についてのみ、音節の立上り（先頭）を検出し、その先頭位置に対応するマークを求めて音節テーブルを作成する。
【００２０】
〔方式IIと方式III 〕
方式II、III は、図１（１）に示すように、立体音響を形成する左右のチャンネルのオーディオ波形のうち、同じ音節について先に立ち上がったチャンネル側についてマークを作成し、その位置から所定時間β以内の立上りについては左右チャンネルともこれを無視することで、同じ音節についての左右のチャンネルのマークを一つに統合して、音節テーブルを作成する。
【００２１】
〔方式VI〕
方式VIは、図１（２）に示すように、立体音響を形成する左右のチャンネルのオーディオ波形それぞれの絶対値をとってこれを加算合成し（モノラル化）、そのモノラル化したオーディオ波形について音節の立上りを検出してマークを生成し音声テーブルを作成する。
【００２２】
上述の方式Ｉの音節テーブル作成処理を以下に説明する。図７はこの方式Ｉの音節テーブル作成処理の手順を示したフローチャートである。まず、左右のチャンネルのうちの一方を選んで（この例では左（Ｌ）チャンネルの波形データを選んだものとする）、この左チャンネル側の波形データをハードディスク装置６からＲＡＭ３にコピーしておく。そして、その左チャンネルの波形データについてその先頭側から順番にサンプル値データを読み出し（ステップＳ１）。そのサンプル値データを読み出したアドレスを後述の読出基準アドレスａとして、この読出基準アドレスａの前後近傍（後述するウィンドウ）の波形データに対して次に説明する立上り検出を行って、音節の立上り部分が検出されたか否かを判定する（ステップＳ２）。
【００２３】
この立上り検出は図６に示す方法による。図６（１）は波形データによるオーディオ波形を示しており、二つの音節が続いている状態を示している。このうちの後ろ側の音節の先頭部分を拡大したもの（縦の振幅軸は圧縮）が図６（２）である。このオーディオ波形に対してａ、ｂ、ｃの３点（アドレス）で構成するウィンドウを適用して音節波形の立上りを検出する。このウィンドウは、読出し基準アドレスａを中心に、その前側にａ〜ｂの第１の区間、後ろ側にａ〜ｃの第２の区間を有しており、第１の区間は第２の区間よりも広くとる。検出原理は以下の通りである。
【００２４】
１．読出し基準アドレスａから前のアドレスｂまでの第１の所定区間（ａ−ｂ）の波形データを読み出してその絶対値をとり、第１の所定区間（ａ−ｂ）のデータの平均値を演算して第１の平均値とする。
２．読出し基準アドレスａより後ろのアドレスｃまでの第２の所定区間（ａ−ｃ）の波形データを読み出してその絶対値をとり、第２の所定区間（ａ−ｃ）のデータの平均値を演算して第２の平均値とする。
３．第２の平均値を第１の平均値で割算する。
４．割算の結果が所定の値以上であれば、その読出し基準アドレスａの位置は音量（つまり振幅値）が急激に大きくなっている箇所であると判断し、その読出し基準アドレスａを音節の立上り部（楽音であればアタック部）と判断する。
【００２５】
なお、上記の第１の所定区間（ａ−ｂ）の長さ、第２の所定区間（ａ−ｃ）の長さ、割算によって算出した商から立上りを判断する値などは、それぞれ実験によって適当な値を予め決めておく。
【００２６】
上記のステップＳ３にて音節の立上りが検出されない場合には、波形データの読出しアドレスを一つ進める。
一方、音節の立上りが検出されたときには、そのときの読出アドレス（読出基準アドレスａ）をマークデータＭ（ｎ）として音節テーブルに追加する。この後、次にサンプル値データを読み出すための読出アドレスを、予め設定された時間αに相当するアドレス幅だけ進める。これは、音節の立上り付近では、上述の立上り検出処理で立上り検出をすると複数の箇所で立上りが検出される可能性があり、かかる複数の立上りを全てマークデータとして保存するとむしろ制御上の邪魔となるので、立上りが一つ検出されたら、その位置から設定時間α分だけ読み飛ばしてノイズ的なマークデータの発生を抑制しているものである。
【００２７】
次に、ステップＳ３またはＳ５で更新した読出しアドレスが波形データ中の最後のサンプル値データに対応するアドレスを超えたか否かを判定する（ステップＳ６）。このアドレスを超えていなければ、上記ステップＳ１以降の処理を繰り返す。最後のアドレスを超えていれば、音節テーブル作成処理を終了する。以上の処理により、方式Ｉによる音節テーブルを作成することができる。
【００２８】
次に、方式IIの音節テーブル作成処理を説明する。図８はこの方式IIの音節テーブル作成処理の手順を示したフローチャートである。上述したように、方式IIと方式III は、左右のチャンネルについて音節の立上りを検出し、同じ音節についての左右のチャンネルのマークを一つに統合するものであるが、このうちの方式IIは、左（Ｌ）チャンネルの波形データ全部と右（Ｒ）チャンネルの波形データ全部についてそれぞれ別々に音節の立上り検出を行って各々の音節テーブルをいったん作成した後に、それら左チャンネルの音節テーブルと右チャンネルの音節テーブルを一つに纏めて、左右のチャンネルの接近した位置にあるマークを一つに統合するものである。
【００２９】
図８において、ステップＳ１１からステップＳ１６までは上述した方式Ｉの処理（ステップＳ１〜Ｓ６）と同じものであり、この処理により左チャンネルの音節テーブルを作成することができる。次に続くステップＳ１７は右チャンネルの波形データを処理対象とするために読出アドレスを波形データの先頭アドレスに戻す処理である。ステップＳ１８からステップＳ２３までは、右チャンネルの波形データを処理対象としていること以外は、上述した方式Ｉ（ステップＳ１〜Ｓ６）の処理と同じものであり、この処理により右チャンネルの音節テーブルを作成することができる。
【００３０】
このようにして作成した左チャンネルの音節テーブルと右チャンネルの音節テーブルとを一つに統合する（ステップＳ２４）。この処理は、各音節テーブルのマークについて、設定時間β以内に複数のマークがあるときには、そのうちの先頭の一つを残して他のマークを除去することでマークを一つに統合するものである。
【００３１】
図９はこのマーク除去処理の詳細な手順を示すフローチャートである。まず、左チャンネルの音節テーブルと右チャンネルの音節テーブルの各マークをその時間軸上の順番に従って並べるようソートして一つの音節テーブルにする（ステップＳ２４１）。
【００３２】
この後、音節番号を示すための変数ｎを「０」にリセットする。このｎ番目の音節の次の音節を示す値（ｎ＋１）が波形データ中の最後の音節の番号を超えたか否か判定する（ステップＳ２４３）。超えていれば、いま注目しているｎ番目の音節で処理を全て終了したことになるので、このマーク除去処理を終了する。超えていなければ、いま注目しているｎ番目の音節のマークＭ（ｎ）とその次の（ｎ＋１）番目の音節のマークＭ（ｎ＋１）との間の時間間隔が設定時間β以上離れているか否かを判定する（ステップＳ２４４）。
【００３３】
この時間間隔が設定時間βよりも小さければ（ステップＳ２４４）、それらｎ番目と（ｎ＋１）番目のマークＭ（ｎ）とＭ（ｎ＋１）は同じ音節に基づいて生成されたマークであると判断して後者のマークＭ（ｎ＋１）を消去し（ステップＳ２４６）、マークの統合を図る。なお、この消去の処理では、消去したマークＭ（ｎ＋１）の次のマークＭ（ｎ＋２）を新たなマークＭ（ｎ＋１）とし、以降のマークを順次に前につめる処理を行う。
【００３４】
一方、上記時間間隔が設定時間β以上離れていれば（ステップＳ２４４）、それらｎ番目と（ｎ＋１）番目のマークＭ（ｎ）とＭ（ｎ＋１）はそれぞれ別々の音節に基づいて生成されたマークデータであると判断して、変数ｎの値を一つインクリメントして（ステップＳ２４５）、ステップＳ２４３以降の処理を繰り返す。
【００３５】
次に、方式III の音節テーブル作成処理を説明する。図１０はこの方式III の音節テーブル作成処理の手順を示したフローチャートである。この方式III も方式IIと同様に左右のチャンネルについて音節の立上りを検出して同じ音節についての左右のチャンネルのマークを一つに統合するものであるが、その手法が方式IIとは異なっている。すなわち、この方式III では左チャンネルと左チャンネルの両方について同時刻のサンプル値データを同時的に読み出して立上り検出を行い、立上りが検出されたらその検出結果をマークとして音節テーブルに追加するとともに、次の読出みアドレスをその検出位置から所定時間βだけ飛ばすというものである。
【００３６】
図１０において、まず左チャンネルの波形データ中からサンプル値データを読み込み（ステップＳ３１）、そのサンプル値データのアドレスを読出基準アドレスａとして音節の立上り検出を行い（ステップＳ３２）、立上りが検出されなかったときには同じい読出アドレスで右チャンネルの波形データ中からサンプル値データを読み込んで（ステップＳ３３）、音節の立上り検出を行う（ステップＳ３４）。左チャンネルまたは右チャンネルの波形データから音節の立上りが検出されたときには（ステップＳ３２、Ｓ３４）、その検出結果を音節ケーブルに追加する処理を行って（ステップＳ３６）、読出アドレスを設定時間β分だけ進め（ステップＳ３７）、立上りが検出されなかったときには読出アドレスを一つだけインクリメントして（ステップＳ３５）、その更新した読出アドレスが波形データの最後のアドレスを超えたか判定し（ステップＳ３８）、超えていなければステップＳ３１に戻って処理を繰り返し、超えていればこの音節テーブル作成処理を終了する。
【００３７】
次に方式VIの音節テーブル作成処理を以下に説明する。図１１はこの方式VIの音節テーブル作成処理の手順を示したフローチャートである。前述したように、この方式VIは、左右チャンネルの波形データから音声テーブル作成作業用のモノラル信号を作って、このモノラル信号の波形データから音節の立上り部分を検出し音節テーブルを作成するものである。
【００３８】
図１１において、同じ読出アドレスを用いて左右のチャンネルの波形データのサンプル値を読み出して（ステップＳ４１）、それらの絶対値をとり（ステップＳ４２）、それらを足し合わせてモノラル信号を作成する（ステップＳ４３）。この処理を左右のチャンネルの波形データの全長（全サンプル値データ）にわたり行う（ステップＳ４１〜Ｓ４３）。なお、上記のように左右チャンネルの波形データをモノラル化する際に絶対値をとるのは、各サンプル値データの位相の関係で両者が相殺しないにするためである。
【００３９】
その後に読出アドレスを先頭アドレスに戻し（ステップＳ４４）、上記作成したモノラル信号の波形データについて音節テーブル作成処理を行う（ステップＳ４５〜Ｓ４９）。このステップＳ４５〜Ｓ４９の処理は前述の方式Ｉについての音節テーブル作成処理（Ｓ１〜Ｓ６）と同じであるので、詳細な説明は省略する。
【００４０】
次に、上記音節テーブルを用いてこの波形再生装置で、音節を持った波形データを再生するときの制御動作についても述べておく。この制御動作の概要が図１２に示される。この波形再生では、フレーズ自体はオリジナルの再生速度で再生し、各音節の音高をそれらが再生される前に予め指示しておき、再生時間がきたらその指示音高で再生するというものである。図１２に示すように、波形データは複数の音節が１、２、３、４、５・・・番目というように連続しているものであり、それぞれの音節に対してその再生に先立って操作子により音高が予め指示されており（図中の縦軸が音高の大小を示す）、再生される各音節はその指示された音高となる。
【００４１】
図１３はこの各音節の音高を指示する処理を示すフローチャートであり、波形データを再生する前に、音節テーブル中の各音節の音高を指示して音節テーブルに各音節対応に記録しておく。まず、音節の番号を示す変数ｎを「０」にリセットし（ステップＳ５１）、この音節番号ｎが最後の音節の値になったか判定し（ステップＳ５２）、最後の音節でなければ音高指示操作子が操作されたか判定し（ステップＳ５３）、音高指示の操作がされていればその指示された音高Ｎ（ｎ）を音節テーブルの音節番号ｎの欄に書き込んで（ステップＳ５４）、音節番号ｎを一つインクリメントし（ステップＳ５５）、ステップＳ５２に戻って処理を繰り返す。音高指示操作子が操作されていないときも同様にステップＳ５２に戻って処理を繰り返す。これを音節テーブル中の最後の音節まで行ったら、このフローを終了する。これにより、音節テーブル中の各音節に対してそれを再生する際の音高Ｎ（ｎ）を記録することができる。
【００４２】
次に、この音節テーブルを用いて音高を制御しつつ波形再生する動作を説明する。図１４は波形再生処理を示すフローチャートである。音節番号を示す変数ｎを「０」にリセットし（ステップＳ５６０）、左右のチャンネルの波形データについて、マークＭ（ｎ）で示される音節以降の波形データについては、音節テーブルに書かれている音高Ｎ（ｎ）で発音し（ステップＳ６１）、この音節番号が音節テーブル中の最後の音節か判定し（ステップＳ６２）、最後の音節でなければ音節番号ｎを一つインクリメントしてステップＳ６１以降の処理を繰り返す。最後の音節となったら（ステップＳ６２）、再生処理を終了する。
【００４３】
本発明の実施にあたっては種々の変形形態が可能である。例えば上述の実施例では、波形データとして人の声を例に用い、したがってマークは音節の立上り毎に設定するようにしたが、本発明はこれに限られるものでなく、オーディオ波形データとして楽器の音の波形を用いるものであってよい。この場合、各楽音の立上りはアタック部分となり、ここでも急激な振幅の増大があるので、上述したと同じ原理で検出が可能である。また、マークを付与する位置を必ずしも音節や楽音の先頭位置に限らず、オーディオ音中の音量が急激に変化する位置を変化点としてマークを付与するものであってもよい。
【００４４】
また、上述の実施例では音量（振幅）が急激に変化する点を波形の変化点としてその変化点にマークを付与したが、本発明はこれに限られるものでなく、例えばピッチが急激に変化する点（時間軸上の位置）を検出してその変化点にマークを付与するものであってもよい。このような検出は、例えば検出ピッチを前回の検出ピッチと比較して、音階の半音以上に相当するピッチ変化があった部分を変化点とすればよい。このようにピッチの変化がある部分は波形データ中の何らかの音の切れ目（または音の質の変化がある点）であることが多いから、このように変化点にマークを付与することでもそのマーク情報を波形再生の制御に用いることができる。
【００４５】
以上の実施例では、本発明をパーソナルコンピュータで実現した場合について述べたが、もちろん本発明はこれに限られることなく、本発明を電子楽器という専用のハードウェア装置で実現するものであってもよい。なお、パーソナルコンピュータで実現する際には、上述の各フローチャートに対応する各機能実現手段として機能させるためのプログラムを、コンピュータ読取り可能な記録媒体、例えばコンパクトディスク（ＣＤ）、フロッピィディスク（ＦＤ）、磁気テープ、光ディスクなどの記録媒体に格納しておき、これをパーソナルコンピュータにインストールして本発明装置を実現できる。
【００４６】
【発明の効果】
以上に説明したように、本発明によれば、立体音響用の複数チャンネルの波形データに適した制御データを簡単かつ自動的に作成できる。
【図面の簡単な説明】
【図１】本発明にかかる制御データの作成方式の概要を説明するための図である。
【図２】本発明に係る一実施例としての波形再生装置の制御データ生成装置を実現するパーソナルコンピュータ・システムのハードウェア構成を示す図である。
【図３】実施例装置を機能ブロック構成で表現した図である。
【図４】実施例装置で用いられる音節テーブルのデータ構造を示す図である。
【図５】実施例装置での音節テーブルのマーク追加処理を行うための一般的な方法を説明するフローチャートである。
【図６】実施例装置における音節等の立上り検出演算を説明する図である。
【図７】実施例装置における方式Ｉの音節テーブル作成処理の手順を示すフローチャートである。
【図８】実施例装置における方式IIの音節テーブル作成処理の手順を示すフローチャートである。
【図９】実施例装置の方式IIの音節テーブル作成処理ルーチン中のマーク除去処理の詳細な手順を示すフローチャートである。
【図１０】実施例装置における方式III の音節テーブル作成処理の手順を示すフローチャートである。
【図１１】実施例装置における方式VIの音節テーブル作成処理の手順を示すフローチャートである。
【図１２】実施例装置による再生時の制御動作の例を概要的に示す図である。
【図１３】実施例装置において音節テーブルに再生波形の音高指示をする例を示すフローチャートである。
【図１４】実施例装置において波形データの再生時に音節テーブルに基づいて音高制御を行う例を示すフローチャートである。
【符号の説明】
１ ＣＰＵ（中央処理装置）
２ ＲＯＭ（リード・オンリー・メモリ）
３ ＲＡＭ（ランダム・アクセス・メモリ）
４ 操作子
５ 表示手段
６ ハードディスク装置
Claims (4)
- 立体音響を形成する複数チャンネルのオーディオ音の波形データを記憶しておいて該複数チャンネルの波形データを立体音響を形成するよう再生する波形再生装置の制御データ生成装置であって、
該複数チャンネルの波形データのそれぞれについて、該波形データで表されるオーディオ音の特性が時間軸上において急激に変化する変化点を検出してその変化点の時間軸上の位置を示す制御データを生成する変化点検出手段と、
該変化点検出手段で生成された制御データを記憶する制御テーブルを、所定時間以内に該複数のチャンネルそれぞれに生じた変化点の制御データについてはいずれか一つに統合して、生成する制御テーブル生成手段とを備えた制御データ生成装置。 - 上記制御テーブル生成手段は，上記複数のチャンネルの波形データのそれぞれについてその全部にわたる制御データを一旦生成し、該生成された複数のチャンネルの制御データのうち時間軸上で所定時間以内にある制御データはいずれか一つのチャンネルの制御データに統合するものである請求項１記載の制御データ生成装置。
- 上記変化点検出手段は，上記複数のチャンネルの波形データのそれぞれについて逐次に並行して制御データを生成していき、１のチャンネルで変化点が検出されたらその変化点から所定時間内は何れのチャンネルの波形データの特性の変化も無視するものである請求項１記載の制御データ生成装置。
- コンピュータを、請求項１〜３のいずれかに記載の制御データ生成装置における各手段として機能させるためのプログラムを記憶したコンピュータ読取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02347799A JP4043126B2 (ja) | 1999-02-01 | 1999-02-01 | 波形再生装置の制御データ生成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02347799A JP4043126B2 (ja) | 1999-02-01 | 1999-02-01 | 波形再生装置の制御データ生成装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000221966A JP2000221966A (ja) | 2000-08-11 |
| JP2000221966A5 JP2000221966A5 (ja) | 2006-10-19 |
| JP4043126B2 true JP4043126B2 (ja) | 2008-02-06 |
Family
ID=12111620
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02347799A Expired - Fee Related JP4043126B2 (ja) | 1999-02-01 | 1999-02-01 | 波形再生装置の制御データ生成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4043126B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4714230B2 (ja) * | 2008-02-27 | 2011-06-29 | 株式会社コナミデジタルエンタテインメント | 音声処理装置、音声処理方法、ならびに、プログラム |
-
1999
- 1999-02-01 JP JP02347799A patent/JP4043126B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000221966A (ja) | 2000-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100256718B1 (ko) | 음피치 변환 장치 | |
| JP2900976B2 (ja) | Ｍｉｄｉデータ編集装置 | |
| JPS6336066B2 (ja) | ||
| JP7367835B2 (ja) | 録音再生装置、録音再生装置の制御方法及び制御プログラム並びに電子楽器 | |
| JP3654117B2 (ja) | 時間軸方向における楽音波形信号の伸縮方法 | |
| JP4043126B2 (ja) | 波形再生装置の制御データ生成装置 | |
| US8314321B2 (en) | Apparatus and method for transforming an input sound signal | |
| JP3617603B2 (ja) | 音声情報の符号化方法及びその生成方法 | |
| JPH0962257A (ja) | 楽音信号処理装置 | |
| JP4270102B2 (ja) | 自動演奏装置及びプログラム | |
| JP4315116B2 (ja) | 電子音楽装置 | |
| JP3673385B2 (ja) | 音楽演奏装置 | |
| JP4049465B2 (ja) | 波形再生装置のピッチ制御装置 | |
| JP4515382B2 (ja) | レコーダ | |
| JP2006113487A (ja) | 楽音データ生成方法及び装置 | |
| JPH08221074A (ja) | 波形データの時間位置をノートコードに割振る機能を備えた電子楽器 | |
| JP4152502B2 (ja) | 音響信号の符号化装置および符号データの編集装置 | |
| JPH10171459A (ja) | 波形信号処理方法および装置 | |
| JP4389364B2 (ja) | 表示位置情報作成装置および表示位置情報作成プログラム | |
| JP5375869B2 (ja) | 楽曲再生装置、楽曲再生方法及びプログラム | |
| JP4685226B2 (ja) | 波形再生用自動演奏装置 | |
| JP4236570B2 (ja) | 波形再生装置および波形再生プログラム | |
| JP3636056B2 (ja) | 波形データ処理方法 | |
| JPH07287576A (ja) | 音楽再生方法 | |
| JP3832147B2 (ja) | 曲データ加工方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050914 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060117 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060904 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070803 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070821 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071010 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071113 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131122 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |