JP4202367B2 - 音声データ処理装置及び音声データ処理方法 - Google Patents

Description

本発明は、効果音や背景音楽（ＢＧＭ）等を発生させる際に用いられる音声データ処理装置に関する。

従来、電子楽器、ゲーム機、及びパーソナルコンピュータ等の情報処理装置においては、楽音や効果音等を発生させることが行われている。 この楽音や効果音等を発生させる場合には、例えば方形波、三角波、正弦波等の信号をそれぞれ分周比及びデューティ比が異なる複数のプリセット分周器に供給し、各分周器から出力される個々の音源信号いわゆるボイスを所望のレベルで合成するものがある。

また、ピアノやドラム等の楽器においては、音の全発音期間がアタック、ディケイ、サスティン及びリリースの４区間に分けられて、各区間で信号の振幅、即ちレベルが特有の変化状態を呈するものがある。この変化状態に対応するために、各ボイスの信号レベルが同様に変化するようないわゆるＡＤＳＲ制御が行われている。

さらに、電子楽器用には、正弦波信号を低周波数の正弦波信号で周波数変調（ＦＭ）するいわゆるＦＭ音源が知られており、変調度を時間の関数として少ない音源データによって多種多様の音声信号を発生することができる。尚、効果音の音源として、ノイズが用いられることもある。また、近年、ゲーム機及びパーソナルコンピュータ等の情報処理装置等においてゲームプログラムを行う場合には、ゲームプログラムの進行あるいはゲーム機及び情報処理装置の使用者の操作等に応じて、発生される効果音や背景音楽（ＢＧＭ）の開始、停止、及び音量等が、実時間、即ちリアルタイムで変更される。

この効果音やＢＧＭのための音声情報は、例えばディジタル録音された１６ビットの多様なディジタルデータが圧縮されて、４ビットのビット・レート低減、即ちＢＲＲエンコード処理が施された後にブロック化された適応差分ＰＣＭいわゆるＡＤＰＣＭデータであり、基本波の波形のための音源データである。即ち、ゲーム機及び情報処理装置等においては、指示された音程等に応じて上記音源データの読み出し周期を可変させて音程を発生させるいわゆるＰＣＭ音源を備えている。

ところで、従来のＰＣＭ音源により合成される音声出力が、例えばゲームプログラム中の効果音用に用いられるときには、ＢＧＭ等の楽曲に重ね合わせて出力される場合が多い。この場合には、この効果音のための音声出力データとＢＧＭ等の楽曲のための音声信号とを混合して出力する必要がある。このとき、上記混合される音声信号として、上記ＰＣＭ音源とは異なる他の処理回路から出力される音声信号を用いているので、音声出力データと音声信号との混合は複雑になっている。また、回路構成も大きいものとなっている。

そこで、本発明は上述の実情に鑑み、音源データから合成された音声出力データと音声信号とを容易に混合することができる音声データ処理装置を提供するものである。

本発明に係る音声データ処理装置は、デコードの必要なデータである音源データと、デコードの不要なデータである実音声データとを処理する音声データ処理装置であって、上記音源データを格納するサウンドバッファと、上記サウンドバッファに格納されたもののうち発音すべき音についての音源データを特定する選択情報を受け付けた場合に、上記サウンドバッファから、上記選択情報で特定された音源データを読出すとともに、読み出された上記音源データをデコード処理して音声を出力するための音声出力データを出力する音声出力手段と、上記音声出力手段からの上記音声出力データと、上記実音声データとを混合して出力音声データを生成し、これを出力する混合手段とを有してなる、音声データ処理装置である。
或いは、本発明に係る音声データ処理装置は、楽音が連続しない音についてのデータである音源データと、楽音が連続した音についてのデータである実音声データとを処理する音声データ処理装置であって、上記音源データを格納するサウンドバッファと、上記サウンドバッファに格納されたもののうち発音すべき音についての音源データを特定する選択情報を受け付けた場合に、上記サウンドバッファから、上記選択情報で特定された音源データを読出すとともに、読み出された上記音源データを処理して音声出力データを出力する音声出力手段と、上記音声出力手段からの上記音声出力データを、連続的に供給される上記実音声データに混合して出力音声データを生成し、これを出力する混合手段とを有してなる、音声データ処理装置である。
或いは、本発明に係る音声データ処理装置は、効果音についてのデータである音源データと、ＢＧＭについてのデータである実音声データとを処理する音声データ処理装置であって、上記音源データを格納するサウンドバッファと、上記サウンドバッファに格納されたもののうち発音すべき音についての音源データを特定する選択情報を受け付けた場合に、上記サウンドバッファから、上記選択情報で特定された音源データを読出すとともに、読み出された上記音源データを処理して音声を出力するための音声出力データを出力する音声出力手段と、上記音声出力手段からの上記音声出力データを、連続的に供給される上記実音声データに混合して出力音声データを生成し、これを出力する混合手段とを有してなる、音声データ処理装置である。

以上のような音声データ処理装置によれば、音源データから合成された音声出力データと音声信号とを容易に混合することができるようになる。

本発明の音声データ処理装置は、前記音源データと、前記実音声データを、所定の外部記録媒体から読み込むようになっていてもよい。

音源データから合成された音声出力データと音声信号とを容易に混合することができるようになるという作用効果は、以下のような方法によっても得ることができる。

例えば、音についての所定のビット数のデータである音源データと、音についての上記音源データとは異なるビット数のデータである実音声データとを処理する音声データ処理装置で実行される方法であって、当該音声データ処理装置が、上記音源データをサウンドバッファに格納する過程と、上記サウンドバッファに格納されたもののうち発音すべき音についての音源データを特定する選択情報を受け付けた場合に、上記サウンドバッファから、上記選択情報で特定された音源データを読出すとともに、読み出された上記音源データを処理して音声を出力するための上記音源データと同じビット数の音声出力データを出力する過程と、上記音声出力データと、上記実音声データとを混合して出力音声データを生成し、これを出力する過程と、を有する音声データ処理方法である。
或いは、デコードの必要なデータである音源データと、デコードの不要なデータである実音声データとを処理する音声データ処理装置で実行される方法であって、当該音声データ処理装置が、上記音源データをサウンドバッファに格納する過程と、上記サウンドバッファに格納されたもののうち発音すべき音についての音源データを特定する選択情報を受け付けた場合に、上記サウンドバッファから、上記選択情報で特定された音源データを読出すとともに、読み出された上記音源データをデコード処理して音声を出力するための音声出力データを出力する過程と、上記音声出力データと、上記実音声データとを混合して出力音声データを生成し、これを出力する過程と、を有する音声データ処理方法である。
或いは、楽音が連続しない音についてのデータである音源データと、楽音が連続した音についてのデータである実音声データとを処理する音声データ処理装置で実行される方法であって、当該音声データ処理装置が、上記音源データをサウンドバッファに格納する過程と、上記サウンドバッファに格納されたもののうち発音すべき音についての音源データを特定する選択情報を受け付けた場合に、上記サウンドバッファから、上記選択情報で特定された音源データを読出すとともに、読み出された上記音源データを処理して音声出力データを出力する過程と、上記音声出力データを、連続的に供給される上記実音声データに混合して出力音声データを生成し、これを出力する過程と、を有する音声データ処理方法である。
或いは、効果音についてのデータである音源データと、ＢＧＭについてのデータである実音声データとを処理する音声データ処理装置で実行される方法であって、当該音声データ処理装置が、上記音源データをサウンドバッファに格納する過程と、上記サウンドバッファに格納されたもののうち発音すべき音についての音源データを特定する選択情報を受け付けた場合に、上記サウンドバッファから、上記選択情報で特定された音源データを読出すとともに、読み出された上記音源データを処理して音声出力データを出力する過程と、上記音声出力データを、連続的に供給される上記実音声データに混合して出力音声データを生成し、これを出力する過程と、を有する音声データ処理方法である。

以下、本発明の好ましい実施例について、図面を参照しながら説明する。図１には、本発明に係る音声データ処理装置を備える音声出力装置の概略的な構成を示す。ここで、図１のＣＤ−ＲＯＭドライブ９３は、ディスク状記録媒体であって、光学的にデータの記録及び再生を行う場合に用いられる光ディスクの内で、再生専用型光ディスクであるコンパクトディスクいわゆるＣＤを読み出し専用メモリとして用いるＣＤ−ＲＯＭを記録媒体として用いるものである。

この図１において、マイクロプロセッサ等から成る中央処理装置であるＣＰＵ９０は、バス９２に接続されている。また、このバス９２には、上記ＣＰＵ９０によってデータの格納等に用いられるメインメモリ９１、ＣＤ−ＲＯＭドライブ９３内のＣＤ−ＲＯＭから読み出されるデータにデコード処理等を施すＣＤ−ＲＯＭデコーダ８０、及び上記ＣＤ−ＲＯＭから読み出された音声データを用いて音を発生する音声データ処理装置４９が接続されている。この音声データ処理装置４９は、音源データの処理及び音源データと実音声データとの混合を行うディジタル音声信号発生装置５０及び音源データを格納するためのサウンドバッファ５１から構成される。また、上記ディジタル音声信号発生装置５０には、音を外部に出力するスピーカ装置９５が接続されている。

上記ＣＰＵ９０からの制御命令により、上記ＣＤ−ＲＯＭドライブ９３から音声データが読み出されて、ＣＤ−ＲＯＭデコーダ８０内のＣＤ−ＲＯＭバッファ８２に格納される。上記ＣＤ−ＲＯＭバッファ８２に格納された音声データは、エラー訂正部８１に送られる。このエラー訂正部８１では、送られたデータに対してエラー訂正処理等を行う。

ここで、上記音声データとしては、楽音が連続した、即ち背景音楽（ＢＧＭ）等の楽曲として出力されるための実音声データ、及び効果音等の音を発生するための音源データが含まれている。具体的には、上記エラー訂正処理等がなされた音声データの内で、曲として出力される実音声データは、ＣＤ−ＲＯＭ用音声データの規格であるＣＤ−ＲＯＭ ＸＡに基づく４ビットＡＤＰＣＭデータ、及び音楽用ＣＤにおける音声データの規格であるＣＤ−ＤＡによる１６ビットＰＣＭデータであり、また、効果音等の音を発生するための音源データは、上記４ビットＡＤＰＣＭデータである。

そして、上記ＣＰＵ９０によってその音声データが、上記どちらのデータであるのかが検出される。また、上記ＣＰＵ９０の制御により、楽曲として出力される実音声データはデコーダ８３に送られる。このデコーダ８３では、ＡＤＰＣＭデータのみにデコード処理が施され、１６ビットＰＣＭデータがミキサ８４に出力される。このミキサ８４では、ステレオの左右チャンネルのＰＣＭデータに対して、ディジタル的に減衰量を変更してミックスすることを行う。このミキサ８４から出力されるデータは、ディジタル音声信号発生装置５０に入力される。

また、効果音等を発生するための音源データは、ホストインターフェイス（Ｉ／Ｆ）８５からバス９２を介してディジタル音声信号発生装置５０に入力される。この後、上記送られた音源データは、上記ディジタル音声信号発生装置５０によりサウンドバッファ５１に格納される。ここで、上記サウンドバッファ５１に格納される音源データを、図２に示す。

この音源データは、横１６ビット、縦８ビットの１６バイトを１ブロックとするブロック単位で構成される。このブロックは、音源データの音声情報のヘッダ情報である２バイトのサウンドパラメータ領域ＰＡと、２８サンプルの音声情報いわゆるサウンドデータから成る１４バイトのサウンドデータ領域ＳＡとから構成される。

また、上記サウンドパラメータ領域ＰＡは、４ビットのシフト量ＲＡ、４ビットのフィルタ情報ＦＬ、３ビットのループ情報ＬＰ、及び５ビットの予約領域ＲＳから成る。上記シフト量ＲＡは、ＢＲＲデコード処理において、４ビット値を１６ビット値に伸張するためのパラメータである。このシフト量ＲＡは、０〜１２の値をとり得るものであり、以下の（１）式で表される。

（１６ビットデータ）＝２^(12-RA) ・（４ビットデータ） ・・・（１）
また、上記ブロック毎のサウンドデータを生成する際にはＢＲＲエンコード処理が施されており、上記フィルタ情報ＦＬは、上記ＢＲＲエンコード処理に対応するＢＲＲデコード処理を行う際に用いるフィルタの情報を示している。このフィルタ情報ＦＬにより、後述する複数の予測フィルタから、ブロック単位毎に最適なもの、即ち誤差の少ないものを選択する。

上記ループ情報ＬＰは、下位ビット側から順に、それぞれ１ビットのループ終了フラグＥＦ、ループフラグＬＦ、及びループ開始フラグＬＳＦを備えている。上記ループ開始フラグＬＳＦは、１のときに、このブロックがループのスタートであることを示すものである。また、ループフラグＬＦは、音源データにループがあるのか否かを示し、このループフラグＬＦが１のときにはループがあることを示すものである。尚、ループありの音源データは、その全てのブロックのこのループフラグＬＦのビットを１にする。また、ループ終了フラグＥＦは、このブロックが音源データの最後のブロックであることを示すものである。

また、上記サウンドデータ領域ＳＡには、サウンドデータＳＤ０〜ＳＤ２７までの２８サンプルのサウンドデータが含まれる。上記ディジタル音声信号発生装置５０では、入力された実音声データ、及び上記サウンドバッファ５１内の音源データを用いて出力音声データを生成し、これに基づいて楽曲及び効果音等をスピーカ装置９５から出力する。

次に、上記ディジタル音声信号発生装置の概略的な構成を図３に示し、以下に詳細に説明する。この実施例に示すディジタル音声信号発生装置は、上記サウンドバッファ５１から、図２に示す４ビットのＡＤＰＣＭデータであるサンプルデータいわゆる音源データを読み出して、このＡＤＰＣＭデータに施されているビット・レート低減のエンコード処理に対応するデコード処理を施してＰＣＭデータに変換するＢＲＲデコーダ５３、上記変換されたＰＣＭデータのピッチを変換するピッチ変換部５４、クロック信号を発生するクロック信号発生器５５、この発生されたクロックに基づいてノイズを発生するノイズ発生器５６、上記ピッチ変換部５４からの出力と上記ノイズ発生器５６からの出力とを切り換える信号切換部５７、この信号切換部５７からの出力のレベルを調整して、出力波形の振幅を可変させて発生する音の包絡線（エンベロープ）を変換するエンベロープジェネレータ５８、ミュート時にはオフされるミュート処理部５９、音量及び左右のチャンネルのバランスを調整する左右ボリューム６０Ｌ、６０Ｒを備えている。これにより、上記音源データを用いた音声の出力がなされる。

ここで、図３においては、１音声（１ボイス）分の音声出力を行うための回路構成のみを示しているが、この実施例のディジタル音声信号発生装置は２４ボイス分の音声出力を行うことが可能であり、２４ボイスにそれぞれ対応する、上記ピッチ変換部５４〜ボリューム６０Ｌ、６０Ｒまでの回路構成を備えている。よって、このディジタル音声信号発生装置では、各ボイスの左チャンネル及び右チャンネルがそれぞれ合成されて、左チャンネル及び右チャンネルの２チャンネル分の音声出力が発生される。

また、各ボイス毎に、上記サウンドバッファ５１に記憶された音源データ、エンベロープ、音量、及び左右チャンネルのバランス等を独立に設定することができる。また、このディジタル音声信号発生装置においては、図１のＣＤ−ＲＯＭデコーダ８０から送られる実音声データを、音声出力データに混合するために、実音声データについての音声信号を入力して上記音声出力データに合成するか否かを選択する信号切換部６４、及びこの混合する音声信号の音量を調節するミキシングボリューム６５が設けられている。よって、音声信号と上記音声出力データとの混合を行う場合には、図１のＣＤ−ＲＯＭデコーダ８０内のミキサ８４から送られるＰＣＭデータが信号入力端子６３から入力されて、上記信号切換部６４を介してミキシングボリューム６５に送られる。このミキシングボリューム６５では、送られた音声信号の音量調節がなされる。この音量調節された音声信号は加算器６２に送られて、上記ボリューム６０Ｌからの音声出力データと混合される。

尚、図３には、上記ボリューム６０Ｌから出力される２４ボイス分の音声出力データが合成された左チャンネルの出力音声データと、上記ミキシングボリューム６５からの左チャンネルの音声信号との混合を行う回路構成のみを示しているが、右チャンネルについても上記左チャンネルのための回路構成と同様な回路構成を備えており、左チャンネル及び右チャンネルの２チャンネルについてそれぞれ混合が行われる。

さらに、このディジタル音声信号発生装置では、上記発生された出力音声データに、時間を前後させた出力音声データを混合するいわゆるリバーブ処理を行うことが可能である。上記リバーブ処理を行うために、上記音声信号をリバーブ処理に用いるか否かを切り換える信号切換部６６、この信号切換部６６からの音声信号と信号切換部６１Ｌを介して出力される上記発生された音声出力データとを加算する加算器６７、この加算器６７からの出力音声データである音声信号を用いてリバーブ処理を行うリバーブ処理部６８、リバーブ処理が施された出力音声データである音声信号による音の音量を調節するリバーブボリューム６９、この音量が調節されたリバーブボリューム６９からの出力を、上記加算器６２から出力される、時間的に前後させる前の出力音声データに混合する加算器７０、この加算器７０から出力される出力音声データの音量を調節するマスタボリューム７１が設けられており、上記出力音声データに混合する出力音声データとして上記ミキシングボリューム６５からの音声信号を用いている。

上記加算器６７から出力される音声信号は、リバーブ処理部６８に入力されて時間的に前後され、リバーブボリューム６９に送られる。このリバーブボリューム６９では、送られた出力音声データである音声信号の音量が調節される。この音量調節がなされた音声信号は、加算器７０に送られ、上記加算器６２からの音声信号と合成される。次に、このディジタル音声信号発生装置における、図２に示す音源データの処理動作について以下に説明する。

図１のＣＰＵ９０により、発音する音の音源データを指示する選択情報、音の長さ情報、音の音程情報、音の音色を決めるためのエンベロープ情報、音の音量情報が上記メインメモリ９１から取り出されて、このディジタル音声信号発生装置５０に送られる。このディジタル音声信号発生装置は、上記送られた選択情報に基づいて上記サウンドバッファ５１から音源データを読み出し、この音源データを音源データ入力端子５２から入力する。また、上記ＣＰＵ９０からの音の長さ情報に基づいて、サウンドバッファ５１からの音源データの入力を制御する。

この入力された音源データは、上記ＢＲＲデコーダ５３に送られてデコード処理が施され、１６ビットＰＣＭデータに変換される。このＢＲＲデコーダ５３によるデコード処理は、各ボイス毎に、１処理単位（１Ｔｓ）について最大４サンプル行われる。このデコード結果は、内部メモリ（サウンドバッファ５１）内に格納される。これらの格納されたデータは、後述するピッチ変換部５４におけるピッチ変換演算に使用されるが、その際のデータの消費量に従って、ＢＲＲデコード処理の割合が決定される。なお、ピッチ変換によるデータの消費量が少なければ、ＢＲＲデコード処理の頻度は少なくなる。

ここで、図２の音源データのサウンドパラメータ領域ＰＡ内のフィルタ情報ＦＬの内容を図４に示す。このように、フィルタ情報ＦＬに示す値によって、ストレート、１次、２次（Ｌｅｖｅｌ Ｂ）、２次（ＬｅｖｅｌＣ）の４種類の予測フィルタを選択することができる。尚、係数ａ、ｂは、フィルタ情報ＦＬの値によって決定されるものである。

このフィルタ情報ＦＬが２及び３の値をとる予測フィルタは、ＣＤ−ＲＯＭＸＡの規格に基づく４ビットのＡＤＰＣＭデータのデコード処理のために用いられるものである。図２に示すサウンドデータが４ビットのＡＤＰＣＭデータである場合には、この４ビットのＡＤＰＣＭデータをデコード処理するために、上記フィルタ情報ＦＬが２及び３の値をとる予測フィルタを用いることも可能である。

ここで、４ビットの音源データをＤ_n 、１サンプル前のデコード結果をＸ_n-1(１６ビットデータ）、２サンプル前のデコード結果をＸ_n-2(１６ビットデータ）とすると、現サンプルのデコード結果Ｘ_n ( １６ビットデータ）は、シフト量ＲＡを用いて以下の（２）式で表される。
Ｘ_n ＝２^(12-RA) Ｄ_n ＋ａＸ_n-1 ＋ｂＸ_n-2 ・・・（２）
上記ＢＲＲデコーダ５３から出力されるＰＣＭデータは、ピッチ変換部５４に入力される。このピッチ変換部５４では、上記ＣＰＵ９０からの音程情報に基づいてピッチ変換演算が行われて、入力されたＰＣＭデータにより発生する音の音程、即ちピッチが変換される。このピッチ変換されたデータは信号切換部５７内の端子５７ａに送られる。

一方、クロック信号発生器５５によって発生されたクロック信号は、ノイズ発生器５６に送られることによりノイズが発生される。ここで、このノイズ発生器５６は、例えばＭ系列の疑似乱数によるノイズを発生するものである。この発生されたノイズは、信号切換部５７内の端子５７ｂに送られる。このディジタル音声信号発生装置は、図１のＣＰＵ９０からの制御命令に基づいて上記信号切換部５７を端子５７ａ又は５７ｂに切り換えることにより、上記ピッチ変換部５４からの音声データ又は上記ノイズ発生器５６からのノイズが選択されて、エンベロープジェネレータ５８に出力される。

このエンベロープジェネレータ５８では、上記ＣＰＵ９０からのエンベロープ情報に基づいて、いわゆるＡＤＳＲ制御が行われ、発音される音の音色が決定される。このエンベロープジェネレータ５８からの出力は、信号切換部５９を介して、左チャンネル用の音声データはボリューム６０Ｌに、右チャンネル用の音声データはボリューム６０Ｒにそれぞれ送られる。このボリューム６０Ｌ、６０Ｒでは、上記ＣＰＵ９０からの音量情報に基づいて音量が調節された出力音声データが発生される。

このようにして、２４ボイス分の音声がそれぞれ生成されて出力される。そして、各ボイスの左チャンネル及び右チャンネルがそれぞれ合成されて、左チャンネル及び右チャンネルの２チャンネル分の出力音声データが発生される。この左右チャンネルの２チャンネル分の出力音声データは、上述のように、上記加算器６２において上記ミキシングボリューム６５から出力される出力音声データと混合され、さらに、上記加算器７０において上記リバーブボリューム６９から出力される出力音声データと混合される。この混合された出力音声データは、マスタボリューム７１で発生される音の音量調節がなされた後に、音声信号出力端子７２から出力される。これにより、図１のスピーカ装置９５から音が発生する。

また、上述した音声データ処理装置は家庭用ゲーム機等において好適なものであり、この音声データ処理装置を用いた家庭用ゲーム機の一実施例の概略的な構成を図５に示し、以下に説明する。この家庭用ゲーム機は、バス３１に、ＣＰＵ１１及び周辺デバイス１２等から構成されるメインシステム、グラフィックスシステム、サウンドシステム、ＣＤ−ＲＯＭシステム、及び通信システム内の各種の機能を実現するための複数のプロセッサ及びデバイスが接続されることにより構成されている。

上記メインシステムの基本部分となる上記ＣＰＵ１１は、３２ビットのＲＩＳＣ(Reduced Instruction Set Computer) ＣＰＵであり、周辺デバイス１２は、ＤＭＡ、タイマ、割り込み等の複数の制御用コントローラから構成されるものである。また、２ＭＢｙｔｅｓのメインメモリ１３、５１２ＫＢｙｔｅｓのメモリ容量をもち、上記ＣＰＵ１１や周辺デバイス１２等の動作を制御してこの家庭用ゲーム機を制御するためのオペレーティングシステム（ＯＳ）プログラムが格納されているＲＯＭ１４、パラレル通信の入出力（Ｉ／Ｏ）部であるＰＩＯ２９、及びシリアル通信の入出力（Ｉ／Ｏ）部であるＳＩＯ３０が、それぞれバス３１に接続されている。

この家庭用ゲーム機に電源が投入されたときには、上記ＣＰＵ１１によってＲＯＭ１４内のＯＳが実行されて装置全体の初期化が行われ、上記ＣＰＵ１１からの制御命令により、ＣＤ−ＲＯＭシステムのＣＤ−ＲＯＭドライブ２５に搭載されたＣＤ−ＲＯＭからアプリケーションプログラム即ちゲームプログラムや画像及び音声データが読み出される。

具体的には、上記ＣＤ−ＲＯＭに記録されている画像データは、ＤＣＴ（離散コサイン変換）等の直交変換が施されて画像圧縮された動画や静止画の画像データ、及びポリゴンを修飾するためのテクスチャ画像の画像データである。尚、動画及び静止画の画像データとしては、静止画データ圧縮の国際標準規格であるＪＰＥＧ(Joint Photographic Experts Group)方式で圧縮されたデータ、及び動画圧縮の国際標準規格であるＭＰＥＧ(Moving Picture Image Coding Experts Group) 方式であって、フレーム内符号化のみによって圧縮されたデータが用いられる。また、上記ＣＤ−ＲＯＭからのゲームプログラムには、微小な多角形領域いわゆるポリゴンを描画するためのポリゴン描画命令が含まれている。

また、ＣＤ−ＲＯＭに記録されている音声データは、音楽用ＣＤにおける音声データの規格であるＣＤ−ＤＡによる１６ビットＰＣＭデータ、及びＣＤ−ＲＯＭ用画像及び音声データの規格であるＣＤ−ＲＯＭ ＸＡに基づいた適応差分ＰＣＭいわゆるＡＤＰＣＭデータである。上記ＣＤ−ＲＯＭから読み出されたデータはＣＤ−ＲＯＭバッファ２４に格納された後、ＣＤ−ＲＯＭデコーダ２３によってデコード処理が施され、データの内容に従って、上記メインシステム、グラフィックスシステム及びサウンドシステム等に送られる。

上記グラフィックスシステムとしては、グラフィックスデータ生成プロセッサであるジェオメトリトランスファエンジン、即ちＧＴＥ１５、グラフィックス描画処理プロセッサであるグラフィックスプロセッシングユニット、即ちＧＰＵ１６、このＧＰＵ１６によって画像を生成する際に使用される１ＭＢｙｔｅｓのフレームバッファ１７、画像データ伸張エンジンであるモーションデコーダ、即ちＭＤＥＣ１９、及びＣＲＴディスプレイ装置や液晶ディスプレイ（ＬＣＤ）装置等のビデオ出力装置１８から構成される。

上記ＧＴＥ１５は、上記ＣＰＵ１１のコプロセッサとして用いられ、上記ＣＰＵ１１が描画命令や制御命令を生成する際に、画像内の３次元の物体を表示するためにポリゴンについての座標変換や光源計算、例えば固定少数点形式の行列やベクトルの計算を、並列処理機構によって高速に行う。上記ＧＰＵ１６は、上記ＣＰＵ１１からのポリゴン描画命令に従って動作するものであり、上記ＣＰＵ１１とは独立した２次元のアドレス空間にマッピングされるフレームバッファ１７にポリゴンの描画を行う。このＧＰＵ１６は、ポリゴンに同じ色で描画を行うフラットシェーディング、ポリゴンの頂点毎に任意の色を指定して、この頂点の色を用いてポリゴン内の色を求めるグーローシェーディング、及びポリゴンに対して２次元のイメージデータであるテクスチャ（素材）を貼り付けるテクスチャマッピングを行う。

上記ＧＴＥ１５は、具体的には、例えば１つの三角形のポリゴンに同じ色で描画を行うフラットシェーディングを行う場合には、１秒間に最大１５０万程度のポリゴンの座標演算を行うことができ、また、グーローシェーディング又はテクスチャマッピングを行う場合には、１秒間に最大５０万程度のポリゴンの座標演算を行うことができるので、ＣＰＵ１１の負荷を軽減すると共に、高速な座標演算を行うことができる。

上記フレームバッファ１７は、縦５１２画素、横１０２４画素の矩形領域であって、１６ビットのいわゆるデュアルポートＲＡＭから成り、上記ＧＰＵ１６による画像の描画、メインメモリ１３から転送されるデータの格納等に使用される。尚、上記ＧＰＵ１６による描画又はメインメモリ１３からのデータ転送、及び画像データの読み出しは同時に行われる。また、フレームバッファ１７内には、テクスチャが格納されるテクスチャ領域、及びカラーパレットとして用いられるカラールックアップテーブル（ＣＬＵＴ）が格納されるＣＬＵＴ領域が設けられている。このテクスチャパターン及びＣＬＵＴのデータは、上記ＣＰＵ１１の制御によってＣＤ−ＲＯＭドライブ２５から読み出され、上記ＧＰＵ１６を介して上記フレームバッファ１７に転送され、格納される。また、ＣＬＵＴのデータは上記ＧＰＵ１６によって生成される場合もある。

従って、上記ＣＰＵ１６によって、上記ＧＴＥ１５で求めた座標や色情報を用いてポリゴンが描画され、このポリゴンに対してテクスチャを貼り付けることにより３次元（３Ｄ）画像を作成している。この作成された画像データを画像信号として上記ビデオ出力装置１８に出力することにより、３次元（３Ｄ）画像が表示される。

尚、動画像を表示する場合に、フレームバッファ１７上に２つの矩形領域を設け、一方の矩形領域にフレーム画像を描画すると同時に、他方の矩形領域に既に描画されたフレーム画像のデータをビデオ出力装置１８に出力して画像を表示するように、上記２つの矩形領域を交互に描画及び画像表示用として用いることにより、上記ビデオ出力装置１８上に画像の書き換えの状態が表示されるのを回避している。

また、ＭＤＥＣ１９は、ＣＤ−ＲＯＭドライブ２５から読み出された画像データを再生する際に用いられるものであり、上記ＣＰＵ１１と互いにメインメモリ１３を共有しながら並列的に動作を行う。上記ＣＤ−ＲＯＭドライブ２５から読み出された動画像用のデータは、ＣＤ−ＲＯＭデコーダ２３でエラー訂正等がなされた後、ＭＤＥＣ１９に送られる。このＭＤＥＣ１９では、送られたデータにデコード処理を施す。このデコード処理されたデータは、動画像データとしてメインメモリ１３に送られる。このメインメモリ１３に送られた動画像データは、上記ＧＰＵ１６を介してフレームバッファ１７に格納された後、画像信号として上記ビデオ出力装置１８に出力されることにより、動画が表示される。

また、サウンドシステムとしては、サウンド再生処理プロセッサであるサウンドプロセッシングユニットいわゆるＳＰＵ２０、このＳＰＵ２０によって音声信号を再生する際に用いられる５１２ＫＢｙｔｅｓのサウンドバッファ２１、及びスピーカ装置等のサウンド出力装置２２から構成される。上記ＳＰＵ２０は、１６ビットの音声データが４ビットの差分信号としてＡＤＰＣＭされた音声データを再生するＡＤＰＣＭ復号化機能、サウンドバッファ２１に記憶されている音源データを再生して効果音等を発生する再生機能、上記音源データを変調させて再生する変調機能等を備えている。

ここで、上記ＣＤ−ＲＯＭ内には背景音楽（ＢＧＭ）に用いられる実音声データ及び効果音の発生等に用いられる音源データが記録されている。これらのデータは、上記ＣＰＵ１１の制御により、上記ＣＤ−ＲＯＭドライブ２５から読み出されてＣＤ−ＲＯＭデコーダ２３でエラー訂正等の処理が施される。ＢＧＭ等に用いられる実音声データは、上記ＣＰＵ１１の制御により上記ＣＤ−ＲＯＭデコーダ２３から上記ＳＰＵ２０に送られ、このＳＰＵ２０によって楽曲として上記サウンド出力装置２２から出力される。また、効果音用に用いられる音源データは、上記ＣＰＵ１１の制御により上記サウンドバッファ２１内に格納される。上記ＳＰＵ２０は、上記サウンドバッファ２１内に格納された音源データに基づいて、楽音や効果音等を発生する。よって、上記ＳＰＵ２０は、いわゆるサンプリング音源である。

また、通信システムとして、入力デバイスいわゆる入力パッドであるコントローラ２７、１ＭＢｙｔｅｓのメモリカード２８、及び同期シリアルポートである通信デバイス２６により構成されている。上記コントローラ２７は、ゲームの進行及びゲーム内において画像表示される物体の動作等を制御するための指示を入力するためのキーを有する。このコントローラ２７から入力された操作情報は、通信デバイス２６に送られる。この通信デバイス２６に送られた情報は、上記ＣＰＵ１１によって約１／６０秒毎に読み出される。上記ＣＰＵ１１は、この情報に基づいて、周辺デバイス１２やメインメモリ１３、及びグラフィックスシステム、サウンドシステム、ＣＤ−ＲＯＭシステムのそれぞれの動作を制御する制御命令を送信することにより、各システムの動作が制御され、上記入力された操作情報に応じた画像が表示され、音声が出力する。

また、上記メモリカード２８は、例えばフラッシュメモリ等の不揮発性のメモリから成り、複数のゲームの設定及び進行途中の状態や結果を格納し、保持するために用いられる。また、バス３１から分離されているので、電源を入れた状態で着脱することが可能であり、この家庭用ゲーム機の動作中に複数のメモリカード２８を着脱させてデータを記憶させることができる。

尚、上記ＰＩＯ２９を介して周辺機器との接続を行うことができ、また、ＳＩＯ３０を介して他のゲーム装置との通信等を行うことが可能である。また、この家庭用ゲーム機においては、ゲームプログラムの読み出し、画像データの表示あるいは描画等を行う際に、上記メインメモリ１３、ＧＰＵ１６、ＭＤＥＣ１９、及びＣＤ−ＲＯＭデコーダ２３等の間で大量の画像データを高速に転送する必要があるので、この場合には、上記ＣＰＵ１１を介さずに周辺デバイス１２からの制御によって直接に画像データを転送するいわゆるＤＭＡ転送を行う。これにより、データ転送によるＣＰＵ１１の負荷を低減させて、高速なデータ転送を行っている。

本発明に係る音声データ処理装置を用いた音声出力装置の一実施例の概略的な構成を示す図である。 音源データの構成を示す図である。 ディジタル音声信号発生装置の概略的な構成を示す図である。 フィルタ情報を説明するための図である。 家庭用ゲーム機の概略的な構成を示す図である。

符号の説明

４９ 音声データ処理装置
５０ ディジタル音声信号発生装置
５１ サウンドバッファ
５３ ＢＲＲデコーダ
５４ ピッチ変換部
５７、６１Ｌ、６１Ｒ、６４、６６ 信号切換部
５８ エンベロープジェネレータ
６０Ｌ、６０Ｒ ボリューム
６５ ミキシングボリューム
６８ リバーブ処理部
６９ リバーブボリューム
７１ マスタボリューム
８０ ＣＤ−ＲＯＭデコーダ
９０ ＣＰＵ
９１ メインメモリ
９２ バス
９３ ＣＤ−ＲＯＭドライブ
９５ スピーカ装置

Claims (5)

1. 楽音が連続しない効果音についてのエンコードされたデータである音源データと、楽音が連続したＢＧＭについてのデータである実音声データとを処理する音声データ処理装置であって、
   上記音源データをエンコードされた状態で格納するサウンドバッファと、
   上記サウンドバッファに格納されたもののうち発音すべき音についての音源データを特定する選択情報を受け付けた場合に、上記サウンドバッファから、上記選択情報で特定された音源データを読出すとともに、読み出された上記音源データをデコード処理してデータサイズが増された音声出力データを出力する音声出力手段と、
   上記音声出力手段からの上記音声出力データを、所定の記録媒体から供給される上記実音声データに混合して出力音声データを生成し、これを出力する混合手段とを有してなり、
   上記実音声データは前記混合手段から見て前記混合手段に連続して供給されるようになっている、
   音声データ処理装置。
2. 効果音についてのエンコードされたデータである音源データと、ＢＧＭについてのデータである実音声データとを処理する音声データ処理装置であって、
   上記音源データをエンコードされた状態で格納するサウンドバッファと、
   上記サウンドバッファに格納されたもののうち発音すべき音についての音源データを特定する選択情報を受け付けた場合に、上記サウンドバッファから、上記選択情報で特定された音源データを読出すとともに、読み出された上記音源データをデコード処理してデータサイズが増された音声を出力するための音声出力データを出力する音声出力手段と、
   上記音声出力手段からの上記音声出力データを、所定の記録媒体から供給される上記実音声データに混合して出力音声データを生成し、これを出力する混合手段とを有してなり、
   上記実音声データは前記混合手段から見て前記混合手段に連続して供給されるようになっている、
   音声データ処理装置。
3. 前記音源データと、前記実音声データの双方を、所定の外部記録媒体から読み込むようになっているとともに、前記音源データは、前記外部記録媒体から読み込まれた後前記サウンドバッファに格納されるようになっている、
   請求項１〜２のいずれかに記載の音声データ処理装置。
4. 楽音が連続しない効果音についてのエンコードされたデータである音源データと、楽音が連続したＢＧＭについてのデータである実音声データとを処理する音声データ処理装置で実行される方法であって、
   当該音声データ処理装置が、
   上記音源データをエンコードされた状態でサウンドバッファに格納する過程と、
   上記サウンドバッファに格納されたもののうち発音すべき音についての音源データを特定する選択情報を受け付けた場合に、上記サウンドバッファから、上記選択情報で特定された音源データを読出すとともに、読み出された上記音源データをデコード処理してデータサイズが増された音声出力データを出力する過程と、
   上記音声出力データを、所定の記録媒体から供給される上記実音声データに混合して出力音声データを生成し、これを出力する過程であって、当該過程では混合される上記実音声データが連続的に供給される過程と、
   を有する音声データ処理方法。
5. 効果音についてのエンコードされたデータである音源データと、ＢＧＭについてのデータである実音声データとを処理する音声データ処理装置で実行される方法であって、
   当該音声データ処理装置が、
   上記音源データをエンコードされた状態でサウンドバッファに格納する過程と、
   上記サウンドバッファに格納されたもののうち発音すべき音についての音源データを特定する選択情報を受け付けた場合に、上記サウンドバッファから、上記選択情報で特定された音源データを読出すとともに、読み出された上記音源データをデコード処理してデータサイズが増された音声出力データを出力する過程と、
   上記音声出力データを、所定の記録媒体から供給される上記実音声データに混合して出力音声データを生成し、これを出力する過程であって、当該過程では混合される上記実音声データが連続的に供給される過程と、
   を有する音声データ処理方法。

Images