JP3596263B2 - データ処理装置およびデータ処理方法 - Google Patents
データ処理装置およびデータ処理方法 Download PDFInfo
- Publication number
- JP3596263B2 JP3596263B2 JP34020197A JP34020197A JP3596263B2 JP 3596263 B2 JP3596263 B2 JP 3596263B2 JP 34020197 A JP34020197 A JP 34020197A JP 34020197 A JP34020197 A JP 34020197A JP 3596263 B2 JP3596263 B2 JP 3596263B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- tone
- video data
- processing
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
- G10H7/002—Instruments in which the tones are synthesised from a data store, e.g. computer organs using a common processing for different operations or calculations, and a set of microinstructions (programme) to control the sequence thereof
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
- G10H7/02—Instruments in which the tones are synthesised from a data store, e.g. computer organs in which amplitudes at successive sample points of a tone waveform are stored in one or more memories
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
- G10H2240/201—Physical layer or hardware aspects of transmission to or from an electrophonic musical instrument, e.g. voltage levels, bit streams, code words or symbols over a physical link connecting network nodes or instruments
- G10H2240/275—Musical interface to a personal computer PCI bus, "peripheral component interconnect bus"
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/541—Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
- G10H2250/621—Waveform interpolation
Description
【０００１】
【発明の属する技術分野】
本発明は、テクスチャデータを用いて３Ｄグラフィック処理を行うとともに、ウエーブテーブルデータを用いてサウンド処理を行うのに好適なデータ処理装置およびデータ処理方法に関する。
【０００２】
【従来の技術】
近年のパーソナルコンピュータにあっては、テキストの入力や計算処理ばかりでなく、３Ｄグラフィックスと呼ばれる映像処理やサウンド処理の機能を備えたものが開発されている。３Ｄグラフィックスにあっては、例えば、三角形のポリゴンによって記述された幾何学形状を入力として、視点や照明といったパラメータを与えると、立体感のある画像が出力される。また、サウンド処理にあっては、各種の効果音をサンプリングして得られた波形データをウエーブテーブルデータとしてメモリに保持しておき、必要なタイミングで記憶データを読み出してピッチ変換等の処理を施して、所望の楽音データを得ることが行われる。このようなグラフィック処理とサウンド処理は、特に、ゲーム等のアミューズメントの分野において、臨場感に溢れる効果を演出するのに役立っている。
【０００３】
このようなグラフィック処理とサウンド処理の機能を備えたパーソナルコンピュータにあっては、映像データと楽音データの性質が相違することから、別個独立に処理するのが一般的である。
図５は、従来のパーソナルコンピュータにおけるグラフィック処理とサウンド処理に係わる部分のブロック図である。このパーソナルコンピュータは、映像制御データＤｇｃと楽音制御データＤｓｃを生成するＣＰＵ１、グラフィック処理系Ａ、サウンド処理系Ｂ、およびこれらの部分を接続するＰＣＩバス２から大略構成される。グラフィック処理系Ａはビデオカードと呼ばれる１枚の基板に、サウンド処理系Ｂはサウンドカードと呼ばれる１枚の基板に各々まとめられており、これらの基板は、拡張スロットに差し込むことによって、パーソナルコンピュータに実装されるのが一般的である。
【０００４】
この場合、映像制御データＤｇｃは、ポリゴンデータＤｐとテクスチャデータＤｔから構成される。ポリゴンデータＤｐは３次元３角形の頂点座標および各頂点に対応したテクスチャアドレス等を示し、テクスチャデータＤｔは、ポリゴン内部を塗りつぶすビットパターンによって構成される。また、楽音制御データＤｓｃは、各種の波形をサンプリングすることにより得られた各種の音色に対応するウエーブテーブルデータＤｗと発音制御データＤｈから構成される。
【０００５】
映像制御データＤｇｃがＰＣＩバス２を介してグラフィック処理系Ａに供給されると、映像制御データＤｇｃはＰＣＩバスインターフェース２１を介して３Ｄグラフィックテンポラリバッファ２２に一旦記憶される。この後、３Ｄグラフィックテンポラリバッファ２２から読み出されたテクスチャデータＤｔはテクスチァメモリ２３に格納される。このテクスチャデータＤｔは、必要に応じて３Ｄグラフィックエンジン２４に読み出される。３Ｄグラフィックエンジン２４は、ポリゴンデータＤｐとテクスチャデータＤｔに基づいて、ポリゴンの内部を塗りつぶすマッピング処理を行って映像データＤｇを生成する。映像データＤｇはフレームメモリ２５に格納される。この後、フレームメモリ２５から読み出された映像データＤｇは、ＲＡＭＤＡＣ１６によってデジタル信号からアナログ信号に変換され、図示せぬ表示装置に供給される。
【０００６】
一方、楽音制御データＤｓｃが、ＰＣＩバス２を介して音声処理系Ｂに供給されると、楽音制御データＤｓｃはＰＣＩバスインターフェース３１を介してサウンドテンポラリバッファ３２に一旦記憶される。この後、サウンドテンポラリバッファ３２から読み出されたウエーブテーブルデータＤｗはＷＴデータメモリ３３に格納される。ＷＴエンジン３４は、発音制御データＤｈの指示する音色に応じたウエーブテーブルデータＤｗをＷＴデータメモリ３３から読み出し、このウエーブテーブルデータＤｗに発音制御データＤｈの指示するピッチに応じたピッチ変換を施して楽音データＤｓを生成する。こうして生成された楽音データＤｓがエフェクト処理部３５に供給されると、エフェクト処理部３５は、エフェクトディレイメモリ３６に楽音データＤｓを記憶することによって、遅延された楽音データＤｓを生成し、これを用いて、エコー等の時間軸上でのエフェクト処理を実行する。エフェクト処理が施された楽音データＤｓはＤＡＣ３７によってディジタル信号からアナログ信号に変換され、楽音信号として図示せぬ発音手段に供給される。
【０００７】
このように、従来のパーソナルコンピュータにあっては、映像データＤｇを生成するグラフィック処理系Ａと、楽音データＤｓを生成するサウンド処理系Ｂとは別個独立して設けられている。
【０００８】
【発明が解決しようとする課題】
ところで、グラフィック処理系Ａで行われる演算処理と、音声処理系Ｂで行われる演算処理とは、両者ともメモリから読み出した元データ（テクスチャデータＤｔ，ウエーブテーブルデータＤｗ）に対して処理を施す点では共通している。しかしながら、従来のパーソナルコンピュータにあっては、グラフィック処理とサウンド処理は別系統で行われていたので、構成が複雑となり、回路規模およびシステム規模が大きいといった問題があった。
【０００９】
本発明は、上述した事情に鑑みてなされたものであり、音と映像で処理系統を共用し、回路規模を大幅に削減したデータ処理装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記課題を解決するため、この発明は、補間処理または間引処理を実行する機能を有する演算部を有し、楽音のピッチおよび元波形データを指示する情報を含む発音制御データに基づき、指示された元波形データの補間処理または間引処理を前記演算部に行わせ、指示されたピッチの楽音データを生成する楽音データ生成処理と、元映像データの種別情報およびスクリーン上における元映像データのマッピング対象領域を指示する情報を含む画像制御データに基づき、指示された元映像データの補間処理または間引き処理を前記演算部に行わせ、指示されたスクリーン上のマッピング対象領域にマッピングされた映像データを生成する映像データ生成処理とを時分割により行うことを特徴とするデータ処理装置を提供する。
好ましい態様において、前記演算部は合成処理を実行する機能をさらに有し、前記発音制御データは音量情報をさらに含み、前記画像制御データは透過度情報をさらに含み、前記楽音データ生成処理は、前記波形データの補間処理または間引処理により生成された複数の楽音データを前記発音制御データに含まれる情報により指示された音量情報に基づいて合成する合成処理を前記演算部に実行させる処理をさらに含み、前記映像データ生成処理は、前記元映像データの補間処理または間引処理により生成された複数の映像データを前記画像制御データの指示する透過度情報に応じて合成する合成処理を前記演算部に実行させる処理をさらに含む。
他の好ましい態様において、データ処理装置は、複数の元波形データと複数の元映像データとを記憶する記憶手段を備え、前記発音制御データによって指示された元波形データを前記記憶手段から読み出すとと共に前記画像制御データによって指示された元映像データを前記記憶手段から読み出す。
他の好ましい態様において、データ処理装置は、前記演算部によって生成される楽音データにバッファリングを施して連続した前記楽音データを出力する楽音バッファと、前記演算部によって生成される映像データにバッファリングを施して連続した前記映像データを出力する映像バッファとを備える。
他の好ましい態様において、データ処理装置は、分割されたタイムスロットの始まりから前記楽音生成制御を行い、この後、当該タイムスロットが終了するまでの残り時間を利用して前記映像生成制御を行う。
また、この発明は、補間処理または間引処理を実行する機能を有する演算部を備えたデータ処理装置におけるデータ処理方法において、楽音のピッチおよび元波形データを指示する情報を含む発音制御データに基づき、指示された元波形データの補間処理または間引処理を前記演算部に行わせ、指示されたピッチの楽音データを生成する楽音データ生成処理と、元映像データの種別情報およびスクリーン上における元映像データのマッピング対象領域を指示する情報を含む画像制御データに基づき、指示された元映像データの補間処理または間引き処理を前記演算部に行わせ、指示されたスクリーン上のマッピング対象領域にマッピングされた映像データを生成する映像データ生成処理とを時分割により行うことを特徴とするデータ処理方法を提供する。
【００１６】
【発明の実施の形態】
１．実施形態の構成
以下、図面を参照しつつ、本発明の一実施形態に係わるデータ処理装置を説明する。図１は、本実施形態に係わるデータ処理装置のブロック図である。図において、１はＣＰＵであって、データ処理装置１００全体を制御するとともに、映像制御データＤｇｃと楽音制御データＤｓｃを生成する。映像制御データＤｇｃは、ポリゴンデータＤｐ（画像制御データ）とテクスチャデータＤｔ（元映像データ）から構成される。ここで、テクスチャデータＤｔは、模様データや写真データなどポリゴン内部を塗りつぶすビットパターンによって構成される。ポリゴンデータＤｐはいわゆるジオメトリ処理によって得られた３次元３角形のポリゴン配列を三角形の各頂点のＸ，Ｙ，Ｚ座標として与えるとともに、テクスチャの種別情報、テクスチャのアドレス情報、合成処理に用いられる透過度情報等を指示する。
【００１７】
また、楽音制御データＤｓｃは、各種の波形をサンプリングすることにより得られた各音色に対応するウエーブテーブルデータＤｗ（元波形データ）、ピッチ、音色、音量あるいはエフェクトといった発音に係わるパラメータを指示する発音制御データＤｈから構成される。
なお、テクスチャデータＤｔとウエーブテーブルデータＤｗとは、常に、映像制御データＤｇｃと楽音制御データＤｓｃに含まれているものではなく、処理の内容に応じてこれらのデータに付加されるものであり、例えば、処理の開始時にＣＰＵ１がハードディスク（図示せず）から読み出すようになっている。
【００１８】
次に、２はＰＣＩバスであり、高速のデータ転送が可能である。ＰＣＩバス２は、データ／アドレスとも３２ビット幅（あるいは６４ビット幅）の転送となっている。また、ＰＣＩバスの動作クロックは３３ＭＨｚであり、理論上の最高データ転送速度は１３２Ｍバイト／秒（あるいは２６４Ｍバイト／秒）である。さらに、サポートしているバスマスタ機能では、汎用ＤＭＡコントローラを使用しない高速なＤＭＡやＣＰＵにかかる負荷の軽減を実現することができる。
【００１９】
また、ＰＣＩバスは、ＩＳＡバスではサポートされていないバースト転送モードを備えている。バースト転送モードとは、１回のアドレス指定で複数のデータをまとめて連続的に転送するモードであり、このバースト転送モードを利用することにより、後述のバースト転送モードを備えたＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）からの連続データの読み出しを高速化することができる。さらに、ＰＣＩバスには、バスに接続するためのインタフェースを安価に製造できるという利点もある。以上がＰＣＩバス２を用いる理由であり、このような特性を有するのであれば、ＰＣＩバス２以外の拡張バスを用いてもよい。
【００２０】
次に、３はＰＣＩバスインターフェースであり、ＰＣＩバス２から映像制御データＤｇｃや楽音制御データＤｓｃを受け取り、これを後段に出力する。また、４は３Ｄグラッフィク（以下、３ＤＧという）・サウンド共用バッファであり、例えばＦＩＦＯ等により構成され、そこには、ＰＣＩバスインターフェース３からの映像制御データＤｇｃと楽音制御データＤｓｃとが一旦記憶され、必要に応じてこれらのデータが読み出されるようになっている。これにより、映像制御データＤｇｃと楽音制御データＤｓｃを一時格納するメモリが共用化される。したがって、映像制御データＤｇｃと楽音制御データＤｓｃとで別個にメモリを設ける必要がないので、メモリ数を削減することができ、また、メモリを配置するボード面積やそのＩ／Ｏポートの配線に必要とされるボード面積を削減することができ、さらに、メモリの制御系を共通にしてメモリ管理を簡易にすることができる。
【００２１】
次に、５はテクスチャ・サウンド共用メモリであって、ＲＡＭ等によって構成される。このテクスチャ・サウンド共用メモリ５には、テクスチャデータＤｔとウエーブテーブルデータＤｗとが格納される。この場合にも、３ＤＧ・サウンド共用バッファ４と同様に、映像と音でメモリが共用されるので、メモリ数やボード面積を削減でき、メモリ管理を簡易にできる等の利点がある。
【００２２】
次に６は３ＤＧ・ＷＴ音源共用エンジンである。この３ＤＧ・ＷＴ音源共用エンジン６には、補間処理、間引処理および合成処理を行う演算部がハードウエアによって構成されており、パラメータを変えることによって、各種の処理が実行できるようになっている。３ＤＧ・ＷＴ音源共用エンジン６では、映像制御データＤｇｃに基づいてグラフィック処理が行われビットマップに展開された映像データＤｇが生成され、また、楽音制御データＤｓｃに基づいて楽音データＤｓが生成されるようになっている。この例では、サウンド処理を優先した時分割処理が行われるようになっている。
【００２３】
３ＤＧ・ＷＴ音源共用エンジン６におけるサウンド処理にあっては、発音制御データＤｈの示す音色に応じたウエーブテーブルデータＤｗがテクスチャ・サウンド共用メモリ５から読み出され、発音制御データＤｈの指示するピッチに応じて、ウエーブテーブルデータＤｗに補間処理や間引処理を施して、楽音データＤｓを生成する。また、同時に複数の楽音を発音する場合にあっては、まず、複数の楽音データＤｓが上述した手順で各々生成され、次に、生成された楽音データＤｓに発音制御データＤｈの示す音量情報に応じた係数が乗算され、乗算結果を加算する合成処理によって、一つの楽音データＤｓが生成されるようになっている。したがって、楽音データＤｓの生成に要する時間は、同時発音数によって異なる。
【００２４】
一方、グラフィック処理にあっては、ポリゴンデータＤｐの指示するテクスチャーデータＤｔの種別と指示するアドレスに従って、必要とされるテクスチャデータＤｔがテクスチャ・サウンド共用メモリ５から読み出され、ポリゴンの頂点の座標に応じてテクスチャデータＤｔをマッピングすることによりスクリーン上に展開された映像データＤｇが生成される。この際、ポリゴンの傾きや拡大縮小に応じて、テクスチャデータＤｔの補間処理や間引処理を行いつつ、マッピングが行われる。ところで、窓の外の風景を描画するといったように透明なものを表す場合には、窓ガラスと風景といったように２種類の画像を重ねる処理が必要になる。ポリゴンデータＤｐに含まれる透過度情報は、このような場合に使用される。この場合には、ある領域において、複数の映像データＤｇを生成し、これらに透過度情報に応じた係数を乗算し、これらの乗算結果を加算する合成処理（αブレンディング処理）が行われる。
【００２５】
ここで、上述したサウンド処理とグラフィック処理を比較すると、いずれもウエーブテーブルデータＤｗやテクスチャデータＤｔといった加工の元になる元データに対して、補間処理あるいは間引処理を行って中間的な中間データを生成し、複数の中間データを合成して最終的なデータである楽音データＤｓや映像データＤｇを生成する点で共通している。本実施形態では、サウンド処理とグラフィック処理の共通点に着目して、これらの処理を実行するエンジンを共用化している。
【００２６】
このような共用化を図る場合に問題となるのは、いずれか一方の処理に時間がかかり他方の処理が間に合わなくなる場合の対処である。例えば、複雑な画像を描画する場合には、グラフィック処理に長時間を要することになり、サウンド処理が間に合わないといった事態も起こり得る。このような場合、楽音データＤｓを前値ホールドすることも考えられるが、聴感上、そのような音には違和感が伴う。一方、映像データＤｇで対処する場合には、あるフレームをフリーズにすればよく、この場合には、視覚上さほど目立たないため、違和感がない。そこで、この例にあっては、グラフィック処理とサウンド処理を時分割で行う際に、各タイムスロットの開始直後からサウンド処理を開始してこれが終了した後、グラフィック処理を開始するようにしている。すなわち、グラフィック処理は、サウンド処理が終了した後の余りの時間で行われるようになっている。
【００２７】
次に、７はエフェクト共用エンジンであって、３ＤＧ・ＷＴ音源共用エンジン６で生成された楽音データＤｓや映像データＤｇに対して各種のエフェクト処理を実行し、エフェクト処理が施された楽音データＤｓ’と映像データＤｇ’を生成する。楽音データＤｓに対する処理としては、エコーやリバーブがある。これらの処理では、ワークＲＡＭ８に先に生成された楽音データＤｓを記憶しておき、これらを合成することが行われる。また、グラフィック処理では、エフェクト共用エンジン７がワークＲＡＭ８を用いて各種の演算を実行することにより、２次元上の効果が与えられる。例えば、ランダムノイズを付加する処理、元の画像とずらした画像を重ねることにより二重写しにする処理、ぼかし処理、あるいはエッジ強調処理等である。これにより、エフェクト共用エンジン７とワークＲＡＭ８との共用化が図られるので、構成を簡易にすることができる。
【００２８】
次に、９は、グラフィック処理とサウンド処理との間の時分割処理に同期して動作するスイッチ、１０はグラフィックバッファ、１１はサウンドバッファである。スイッチ９はエフェクト共用エンジン７で生成された楽音データＤｓ’と映像データＤｇ’とをグラフィックバッファ１０とサウンドバッファ１１とに振り分けて出力する。グラフィックバッファ１０は、バッファ１０ａとバッファ１０ｂから構成されている。あるタイムスロットにおいて、一方のバッファに映像データＤｇ’を書き込む場合、他方のバッファから映像データＤｇ’が読み出されるようになっており、書き込みと読み出しが交互に行われるようになっている。また、サウンドバッファ１１は、グラフィックバッファ１０と同様に、バッファ１１ａとバッファ１１ｂから構成されており、書き込みと読み出しが交互に行われるようになっている。
【００２９】
次に、１２はＲＡＭＤＡＣであり、グラフィックバッファ１０から読み出された映像データＤｇ’をデジタル信号からアナログ信号に変換して映像信号を生成する。また、１３はサウンドＤＡＣであって、サウンドバッファ１１から読み出された楽音データＤｓ’をデジタル信号からアナログ信号に変換して楽音信号を生成する。
【００３０】
以上の構成によれば、グラフィック処理とサウンド処理とで、ＰＣＩバスインターフェース３、３ＤＧ・サウンド共用バッファ４、テクスチャ・サウンド共用メモリ５、３ＤＧ・ＷＴ音源共用エンジン６、エフェクト共用エンジン７、およびワークＲＡＭ８を兼用できるので、構成を簡易にすることができる。
【００３１】
２．実施形態の動作
次に、図面を参照しつつ、本実施形態に係わるデータ処理装置の動作を説明する。
まず、データ処理装置１００の全体動作について説明する。図２は、グラフィック処理とサウンド処理の時分割動作を示す概念図である。図に示すように、データ処理装置１００は、５．３ｍｓ毎のタイムスロットを基本単位として動作しており、各タイムスロット０，１，…の中でグラフィック処理とサウンド処理が時分割で行われる。なお、１タイムスロットの期間を５．３ｍｓに設定したのは、楽音データＤｇ’のサンプリング周波数を４８ＫＨｚに設定した場合、１タイムスロットのサンプリング数が２５６個となり、処理単位として都合が良いからである。
【００３２】
サウンド処理は、各タイムスロット０，１，…の開始直後に行われる。この例にあっては、ＴＳ０，ＴＳ１，…がサウンド処理期間として割り当てられている。ところで、サウンド処理期間ＴＳ０，ＴＳ１，…における同時発音数は、動的に変化するので、それらの処理に要する時間も同時発音数に応じて変化する。このため、各サウンド期間ＴＳ０，ＴＳ１，…は一致するとは限らないが、各タイムスロットの開始直後からサウンド処理期間は始まるので、処理時間が不足するといった不都合は生じない。したがって、各タイムスロット毎に２５６サンプルの楽音データＤｓ’が、サウンドバッファ１１を構成するバッファ１１ａ，１１ｂに交互に書き込まれ、それらから読み出される。
【００３３】
一方、グラフィック処理は、サウンド処理期間が終了した直後から開始し、当該タイムスロットが終了するまで継続する。この例にあっては、Ｔｇ０，Ｔｇ１，…がグラフィック処理期間として割り当てられている。すなわち、サウンド処理期間終了後の残りの時間で処理可能なだけグラフィック処理を実行する。このため、グラフィックバッファ１０に書き込まれる映像データＤｇ’のサンプル数は変動するが、３ＤＧ・ＷＴ音源共用エンジン６やエフェクト共用エンジン７の動作速度は、余裕をもって設定されているので、グラフィック処理が間に合わないといった事態は希である。また、仮にグラフィック処理が間に合わない場合には、前のフレームのデータを使用することにより、使用者に違和感を与えないようにしている。
【００３４】
次に、３ＤＧ・ＷＴ音源共用エンジン６で行われる内部処理を説明する。図３は、３ＤＧ・ＷＴ音源共用エンジン６で行われるサウンド処理の内容を示す概念図である。まず、テクスチャ・サウンド共用メモリ５には図に示す原波形をサンプリングして得たウエーブテーブルデータＤｗが格納されているものとする。この場合、当該ウエーブテーブルデータＤｗはデータＤ１〜Ｄ９から構成されている。ここで、発音制御データＤｈの示すピッチが、ウエーブテーブルデータＤｗの１／２倍であったとすると、３ＤＧ・ＷＴ音源共用エンジン６は隣接するデータを用いて補間処理を行う。図に示す補間波形は、補間処理の結果を示すものである。例えば、データＤ２’は、Ｄ２’＝（Ｄ２＋Ｄ３）／２によって算出される。
ここで、同時発音数を３とすれば、図３の下段に示すように各々の音色に応じた補間波形が３つ得られる。この後、発音制御データＤｈの示す音量に応じた係数を各々乗算し、各乗算結果を加算することによって、楽音データＤｓが生成される。
【００３５】
また、図４は、３ＤＧ・ＷＴ音源共用エンジン６で行われるグラフィック処理の内容を示す概念図である。図４の上段はテクスチャデータＤｔをビットマップ形式で示したのものであり、白丸は各ピクセルを表している。ここで、処理対象のポリゴンに対応する領域が三角形Ｇで示されるものであり、ポリゴンデータＤｐの指示する座標情報が三角形Ｇを横方向に拡大し、紙面方向に三角形Ｇを傾けること表しているとすれば、スクリーン上でのポリゴンは、例えば、図４の中段に示すものとなる。この場合、白丸のピクセルは元のテクスチャデータＤｔに存在した実データであり、黒丸のピクセルは補間処理によって生成されたものである。例えば、ピクセルＰ１’は、隣接するピクセルＰ１とピクセルＰ２から補間されたものである。ピクセルＰ１を示すデータをＤｐ１、ピクセルＰ１’を示すデータをＤｐ１’、ピクセルＰ２を示すデータをＤｐ２とすれば、データＤｐ１’は、Ｄｐ１’＝（Ｄｐ１＋Ｄｐ２）／２によって算出される。
【００３６】
このようにして各ポリゴンに対応するデータが生成された後、透明度を付加するαブレンディング処理が行われる。例えば、３つのポリゴンを重ねて表示するような場合にあっては、図４の下段に示すように、各ポリゴンに対応するデータに、ポリゴンデータＤｐが指示する透明度に応じた係数を各々乗算し、乗算結果を加算することによって、映像データＤｇが生成される。
【００３７】
以上、説明したように本実施形態によれば、グラフィック処理とサウンド処理の共通点に着目して、従来別系統で行われていた処理を１系統で行うようにしたので、ＰＣＩバスインターフェース３、３ＤＧ・サウンド共用バッファ４、テクスチャ・サウンド共用メモリ５、３ＤＧ・ＷＴ音源共用エンジン６、エフェクト共用エンジン７、およびワークＲＡＭ８を兼用することができる。この結果、構成を略半分に削減することができる。
【００３８】
また、各タイムスロットの始めの部分でサウンド処理を行うようにしたので、楽音データＤｓを確実に生成することができる。この結果、処理時間が間に合わくなって不連続な楽音データＤｓを出力するといったことがないので、違和感がなく高品質の楽音信号を生成することが可能となる。しかも、サウンド処理が終了した後は、グラッフィク処理を当該タイムスロットが終了するまで可能な限り行うので、映像データＤｇの処理が間に合わないといったこともほとんどない。また、仮に処理が間に合わないとしても、映像データＤｇはフレーム間の相関性が極めて高いので、前のフレームで生成された映像データＤｇを使用できるので、画質劣化の少ない映像信号を出力することができる。
【００３９】
なお、上述した実施形態にあっては、テクスチャデータＤｔとウエーブテーブルデータＤｗとをテクスチャ・サウンド共用メモリ５に格納したが、本発明はこれに限定されるものではなく、テクスチャデータＤｔを格納するメモリとウエーブテーブルデータＤｗを格納するメモリを別々に設けてもよい。
また、ＰＣＩバス３の代わりにＡＧＰバスを用いてもよい。この場合には、テクスチャ・サウンド共用メモリ５をサウンド・ビデオ共用カード上に配置するだけでなく、システムのメインメモリ上にも配置して、テクスチャ・サウンド共用メモリ５の容量を削減することができる。
また、上述した３ＤＧ・ＷＴ音源共用エンジン６は、補間処理、間引処理および合成処理を行うものであったが、合成処理を行わないものであってもよい。
【００４０】
【発明の効果】
上述したように本発明に係る発明特定事項によれば、グラフィック処理とサウンド処理とを１系統で行うようにしたので、データ処理装置の回路規模を大幅に削減することができる。
また、サウンド処理をグラッフィク処理に優先させるようにしたので、違和感がなく高品質の楽音データを生成することができ、装置全体として見たとき、バランスのとれたシステムにすることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係わるデータ処理装置のブロック図である。
【図２】同実施形態に係わるグラフィック処理とサウンド処理の時分割動作を示す概念図である。
【図３】同実施形態に係わる３ＤＧ・ＷＴ音源共用エンジンで行われるサウンド処理の内容を示す概念図である。
【図４】同実施形態に係わる３ＤＧ・ＷＴ音源共用エンジンで行われるグラフィック処理の内容を示す概念図である。
【図５】従来のパーソナルコンピュータにおけるグラフィック処理とサウンド処理に係わる部分のブロック図である。
【符号の説明】
５…テクスチャ・サウンド共用メモリ（記憶手段）、６…３ＤＧ・ＷＴ音源共用エンジン（処理手段）、１１…サウンドバッファ（楽音バッファ）、１２…グラッフィクバッファ（映像バッファ）、Ｄｈ…発音制御データ、Ｄｗ…ウエーブテーブルデータ（元波形データ）、Ｄｓ…楽音データ、Ｄｐ…ポリゴンデータ（画像制御データ）、Ｄｔ…テクスチャデータ（元映像データ）、Ｄｇ…映像データ。
【発明の属する技術分野】
本発明は、テクスチャデータを用いて３Ｄグラフィック処理を行うとともに、ウエーブテーブルデータを用いてサウンド処理を行うのに好適なデータ処理装置およびデータ処理方法に関する。
【０００２】
【従来の技術】
近年のパーソナルコンピュータにあっては、テキストの入力や計算処理ばかりでなく、３Ｄグラフィックスと呼ばれる映像処理やサウンド処理の機能を備えたものが開発されている。３Ｄグラフィックスにあっては、例えば、三角形のポリゴンによって記述された幾何学形状を入力として、視点や照明といったパラメータを与えると、立体感のある画像が出力される。また、サウンド処理にあっては、各種の効果音をサンプリングして得られた波形データをウエーブテーブルデータとしてメモリに保持しておき、必要なタイミングで記憶データを読み出してピッチ変換等の処理を施して、所望の楽音データを得ることが行われる。このようなグラフィック処理とサウンド処理は、特に、ゲーム等のアミューズメントの分野において、臨場感に溢れる効果を演出するのに役立っている。
【０００３】
このようなグラフィック処理とサウンド処理の機能を備えたパーソナルコンピュータにあっては、映像データと楽音データの性質が相違することから、別個独立に処理するのが一般的である。
図５は、従来のパーソナルコンピュータにおけるグラフィック処理とサウンド処理に係わる部分のブロック図である。このパーソナルコンピュータは、映像制御データＤｇｃと楽音制御データＤｓｃを生成するＣＰＵ１、グラフィック処理系Ａ、サウンド処理系Ｂ、およびこれらの部分を接続するＰＣＩバス２から大略構成される。グラフィック処理系Ａはビデオカードと呼ばれる１枚の基板に、サウンド処理系Ｂはサウンドカードと呼ばれる１枚の基板に各々まとめられており、これらの基板は、拡張スロットに差し込むことによって、パーソナルコンピュータに実装されるのが一般的である。
【０００４】
この場合、映像制御データＤｇｃは、ポリゴンデータＤｐとテクスチャデータＤｔから構成される。ポリゴンデータＤｐは３次元３角形の頂点座標および各頂点に対応したテクスチャアドレス等を示し、テクスチャデータＤｔは、ポリゴン内部を塗りつぶすビットパターンによって構成される。また、楽音制御データＤｓｃは、各種の波形をサンプリングすることにより得られた各種の音色に対応するウエーブテーブルデータＤｗと発音制御データＤｈから構成される。
【０００５】
映像制御データＤｇｃがＰＣＩバス２を介してグラフィック処理系Ａに供給されると、映像制御データＤｇｃはＰＣＩバスインターフェース２１を介して３Ｄグラフィックテンポラリバッファ２２に一旦記憶される。この後、３Ｄグラフィックテンポラリバッファ２２から読み出されたテクスチャデータＤｔはテクスチァメモリ２３に格納される。このテクスチャデータＤｔは、必要に応じて３Ｄグラフィックエンジン２４に読み出される。３Ｄグラフィックエンジン２４は、ポリゴンデータＤｐとテクスチャデータＤｔに基づいて、ポリゴンの内部を塗りつぶすマッピング処理を行って映像データＤｇを生成する。映像データＤｇはフレームメモリ２５に格納される。この後、フレームメモリ２５から読み出された映像データＤｇは、ＲＡＭＤＡＣ１６によってデジタル信号からアナログ信号に変換され、図示せぬ表示装置に供給される。
【０００６】
一方、楽音制御データＤｓｃが、ＰＣＩバス２を介して音声処理系Ｂに供給されると、楽音制御データＤｓｃはＰＣＩバスインターフェース３１を介してサウンドテンポラリバッファ３２に一旦記憶される。この後、サウンドテンポラリバッファ３２から読み出されたウエーブテーブルデータＤｗはＷＴデータメモリ３３に格納される。ＷＴエンジン３４は、発音制御データＤｈの指示する音色に応じたウエーブテーブルデータＤｗをＷＴデータメモリ３３から読み出し、このウエーブテーブルデータＤｗに発音制御データＤｈの指示するピッチに応じたピッチ変換を施して楽音データＤｓを生成する。こうして生成された楽音データＤｓがエフェクト処理部３５に供給されると、エフェクト処理部３５は、エフェクトディレイメモリ３６に楽音データＤｓを記憶することによって、遅延された楽音データＤｓを生成し、これを用いて、エコー等の時間軸上でのエフェクト処理を実行する。エフェクト処理が施された楽音データＤｓはＤＡＣ３７によってディジタル信号からアナログ信号に変換され、楽音信号として図示せぬ発音手段に供給される。
【０００７】
このように、従来のパーソナルコンピュータにあっては、映像データＤｇを生成するグラフィック処理系Ａと、楽音データＤｓを生成するサウンド処理系Ｂとは別個独立して設けられている。
【０００８】
【発明が解決しようとする課題】
ところで、グラフィック処理系Ａで行われる演算処理と、音声処理系Ｂで行われる演算処理とは、両者ともメモリから読み出した元データ（テクスチャデータＤｔ，ウエーブテーブルデータＤｗ）に対して処理を施す点では共通している。しかしながら、従来のパーソナルコンピュータにあっては、グラフィック処理とサウンド処理は別系統で行われていたので、構成が複雑となり、回路規模およびシステム規模が大きいといった問題があった。
【０００９】
本発明は、上述した事情に鑑みてなされたものであり、音と映像で処理系統を共用し、回路規模を大幅に削減したデータ処理装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記課題を解決するため、この発明は、補間処理または間引処理を実行する機能を有する演算部を有し、楽音のピッチおよび元波形データを指示する情報を含む発音制御データに基づき、指示された元波形データの補間処理または間引処理を前記演算部に行わせ、指示されたピッチの楽音データを生成する楽音データ生成処理と、元映像データの種別情報およびスクリーン上における元映像データのマッピング対象領域を指示する情報を含む画像制御データに基づき、指示された元映像データの補間処理または間引き処理を前記演算部に行わせ、指示されたスクリーン上のマッピング対象領域にマッピングされた映像データを生成する映像データ生成処理とを時分割により行うことを特徴とするデータ処理装置を提供する。
好ましい態様において、前記演算部は合成処理を実行する機能をさらに有し、前記発音制御データは音量情報をさらに含み、前記画像制御データは透過度情報をさらに含み、前記楽音データ生成処理は、前記波形データの補間処理または間引処理により生成された複数の楽音データを前記発音制御データに含まれる情報により指示された音量情報に基づいて合成する合成処理を前記演算部に実行させる処理をさらに含み、前記映像データ生成処理は、前記元映像データの補間処理または間引処理により生成された複数の映像データを前記画像制御データの指示する透過度情報に応じて合成する合成処理を前記演算部に実行させる処理をさらに含む。
他の好ましい態様において、データ処理装置は、複数の元波形データと複数の元映像データとを記憶する記憶手段を備え、前記発音制御データによって指示された元波形データを前記記憶手段から読み出すとと共に前記画像制御データによって指示された元映像データを前記記憶手段から読み出す。
他の好ましい態様において、データ処理装置は、前記演算部によって生成される楽音データにバッファリングを施して連続した前記楽音データを出力する楽音バッファと、前記演算部によって生成される映像データにバッファリングを施して連続した前記映像データを出力する映像バッファとを備える。
他の好ましい態様において、データ処理装置は、分割されたタイムスロットの始まりから前記楽音生成制御を行い、この後、当該タイムスロットが終了するまでの残り時間を利用して前記映像生成制御を行う。
また、この発明は、補間処理または間引処理を実行する機能を有する演算部を備えたデータ処理装置におけるデータ処理方法において、楽音のピッチおよび元波形データを指示する情報を含む発音制御データに基づき、指示された元波形データの補間処理または間引処理を前記演算部に行わせ、指示されたピッチの楽音データを生成する楽音データ生成処理と、元映像データの種別情報およびスクリーン上における元映像データのマッピング対象領域を指示する情報を含む画像制御データに基づき、指示された元映像データの補間処理または間引き処理を前記演算部に行わせ、指示されたスクリーン上のマッピング対象領域にマッピングされた映像データを生成する映像データ生成処理とを時分割により行うことを特徴とするデータ処理方法を提供する。
【００１６】
【発明の実施の形態】
１．実施形態の構成
以下、図面を参照しつつ、本発明の一実施形態に係わるデータ処理装置を説明する。図１は、本実施形態に係わるデータ処理装置のブロック図である。図において、１はＣＰＵであって、データ処理装置１００全体を制御するとともに、映像制御データＤｇｃと楽音制御データＤｓｃを生成する。映像制御データＤｇｃは、ポリゴンデータＤｐ（画像制御データ）とテクスチャデータＤｔ（元映像データ）から構成される。ここで、テクスチャデータＤｔは、模様データや写真データなどポリゴン内部を塗りつぶすビットパターンによって構成される。ポリゴンデータＤｐはいわゆるジオメトリ処理によって得られた３次元３角形のポリゴン配列を三角形の各頂点のＸ，Ｙ，Ｚ座標として与えるとともに、テクスチャの種別情報、テクスチャのアドレス情報、合成処理に用いられる透過度情報等を指示する。
【００１７】
また、楽音制御データＤｓｃは、各種の波形をサンプリングすることにより得られた各音色に対応するウエーブテーブルデータＤｗ（元波形データ）、ピッチ、音色、音量あるいはエフェクトといった発音に係わるパラメータを指示する発音制御データＤｈから構成される。
なお、テクスチャデータＤｔとウエーブテーブルデータＤｗとは、常に、映像制御データＤｇｃと楽音制御データＤｓｃに含まれているものではなく、処理の内容に応じてこれらのデータに付加されるものであり、例えば、処理の開始時にＣＰＵ１がハードディスク（図示せず）から読み出すようになっている。
【００１８】
次に、２はＰＣＩバスであり、高速のデータ転送が可能である。ＰＣＩバス２は、データ／アドレスとも３２ビット幅（あるいは６４ビット幅）の転送となっている。また、ＰＣＩバスの動作クロックは３３ＭＨｚであり、理論上の最高データ転送速度は１３２Ｍバイト／秒（あるいは２６４Ｍバイト／秒）である。さらに、サポートしているバスマスタ機能では、汎用ＤＭＡコントローラを使用しない高速なＤＭＡやＣＰＵにかかる負荷の軽減を実現することができる。
【００１９】
また、ＰＣＩバスは、ＩＳＡバスではサポートされていないバースト転送モードを備えている。バースト転送モードとは、１回のアドレス指定で複数のデータをまとめて連続的に転送するモードであり、このバースト転送モードを利用することにより、後述のバースト転送モードを備えたＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）からの連続データの読み出しを高速化することができる。さらに、ＰＣＩバスには、バスに接続するためのインタフェースを安価に製造できるという利点もある。以上がＰＣＩバス２を用いる理由であり、このような特性を有するのであれば、ＰＣＩバス２以外の拡張バスを用いてもよい。
【００２０】
次に、３はＰＣＩバスインターフェースであり、ＰＣＩバス２から映像制御データＤｇｃや楽音制御データＤｓｃを受け取り、これを後段に出力する。また、４は３Ｄグラッフィク（以下、３ＤＧという）・サウンド共用バッファであり、例えばＦＩＦＯ等により構成され、そこには、ＰＣＩバスインターフェース３からの映像制御データＤｇｃと楽音制御データＤｓｃとが一旦記憶され、必要に応じてこれらのデータが読み出されるようになっている。これにより、映像制御データＤｇｃと楽音制御データＤｓｃを一時格納するメモリが共用化される。したがって、映像制御データＤｇｃと楽音制御データＤｓｃとで別個にメモリを設ける必要がないので、メモリ数を削減することができ、また、メモリを配置するボード面積やそのＩ／Ｏポートの配線に必要とされるボード面積を削減することができ、さらに、メモリの制御系を共通にしてメモリ管理を簡易にすることができる。
【００２１】
次に、５はテクスチャ・サウンド共用メモリであって、ＲＡＭ等によって構成される。このテクスチャ・サウンド共用メモリ５には、テクスチャデータＤｔとウエーブテーブルデータＤｗとが格納される。この場合にも、３ＤＧ・サウンド共用バッファ４と同様に、映像と音でメモリが共用されるので、メモリ数やボード面積を削減でき、メモリ管理を簡易にできる等の利点がある。
【００２２】
次に６は３ＤＧ・ＷＴ音源共用エンジンである。この３ＤＧ・ＷＴ音源共用エンジン６には、補間処理、間引処理および合成処理を行う演算部がハードウエアによって構成されており、パラメータを変えることによって、各種の処理が実行できるようになっている。３ＤＧ・ＷＴ音源共用エンジン６では、映像制御データＤｇｃに基づいてグラフィック処理が行われビットマップに展開された映像データＤｇが生成され、また、楽音制御データＤｓｃに基づいて楽音データＤｓが生成されるようになっている。この例では、サウンド処理を優先した時分割処理が行われるようになっている。
【００２３】
３ＤＧ・ＷＴ音源共用エンジン６におけるサウンド処理にあっては、発音制御データＤｈの示す音色に応じたウエーブテーブルデータＤｗがテクスチャ・サウンド共用メモリ５から読み出され、発音制御データＤｈの指示するピッチに応じて、ウエーブテーブルデータＤｗに補間処理や間引処理を施して、楽音データＤｓを生成する。また、同時に複数の楽音を発音する場合にあっては、まず、複数の楽音データＤｓが上述した手順で各々生成され、次に、生成された楽音データＤｓに発音制御データＤｈの示す音量情報に応じた係数が乗算され、乗算結果を加算する合成処理によって、一つの楽音データＤｓが生成されるようになっている。したがって、楽音データＤｓの生成に要する時間は、同時発音数によって異なる。
【００２４】
一方、グラフィック処理にあっては、ポリゴンデータＤｐの指示するテクスチャーデータＤｔの種別と指示するアドレスに従って、必要とされるテクスチャデータＤｔがテクスチャ・サウンド共用メモリ５から読み出され、ポリゴンの頂点の座標に応じてテクスチャデータＤｔをマッピングすることによりスクリーン上に展開された映像データＤｇが生成される。この際、ポリゴンの傾きや拡大縮小に応じて、テクスチャデータＤｔの補間処理や間引処理を行いつつ、マッピングが行われる。ところで、窓の外の風景を描画するといったように透明なものを表す場合には、窓ガラスと風景といったように２種類の画像を重ねる処理が必要になる。ポリゴンデータＤｐに含まれる透過度情報は、このような場合に使用される。この場合には、ある領域において、複数の映像データＤｇを生成し、これらに透過度情報に応じた係数を乗算し、これらの乗算結果を加算する合成処理（αブレンディング処理）が行われる。
【００２５】
ここで、上述したサウンド処理とグラフィック処理を比較すると、いずれもウエーブテーブルデータＤｗやテクスチャデータＤｔといった加工の元になる元データに対して、補間処理あるいは間引処理を行って中間的な中間データを生成し、複数の中間データを合成して最終的なデータである楽音データＤｓや映像データＤｇを生成する点で共通している。本実施形態では、サウンド処理とグラフィック処理の共通点に着目して、これらの処理を実行するエンジンを共用化している。
【００２６】
このような共用化を図る場合に問題となるのは、いずれか一方の処理に時間がかかり他方の処理が間に合わなくなる場合の対処である。例えば、複雑な画像を描画する場合には、グラフィック処理に長時間を要することになり、サウンド処理が間に合わないといった事態も起こり得る。このような場合、楽音データＤｓを前値ホールドすることも考えられるが、聴感上、そのような音には違和感が伴う。一方、映像データＤｇで対処する場合には、あるフレームをフリーズにすればよく、この場合には、視覚上さほど目立たないため、違和感がない。そこで、この例にあっては、グラフィック処理とサウンド処理を時分割で行う際に、各タイムスロットの開始直後からサウンド処理を開始してこれが終了した後、グラフィック処理を開始するようにしている。すなわち、グラフィック処理は、サウンド処理が終了した後の余りの時間で行われるようになっている。
【００２７】
次に、７はエフェクト共用エンジンであって、３ＤＧ・ＷＴ音源共用エンジン６で生成された楽音データＤｓや映像データＤｇに対して各種のエフェクト処理を実行し、エフェクト処理が施された楽音データＤｓ’と映像データＤｇ’を生成する。楽音データＤｓに対する処理としては、エコーやリバーブがある。これらの処理では、ワークＲＡＭ８に先に生成された楽音データＤｓを記憶しておき、これらを合成することが行われる。また、グラフィック処理では、エフェクト共用エンジン７がワークＲＡＭ８を用いて各種の演算を実行することにより、２次元上の効果が与えられる。例えば、ランダムノイズを付加する処理、元の画像とずらした画像を重ねることにより二重写しにする処理、ぼかし処理、あるいはエッジ強調処理等である。これにより、エフェクト共用エンジン７とワークＲＡＭ８との共用化が図られるので、構成を簡易にすることができる。
【００２８】
次に、９は、グラフィック処理とサウンド処理との間の時分割処理に同期して動作するスイッチ、１０はグラフィックバッファ、１１はサウンドバッファである。スイッチ９はエフェクト共用エンジン７で生成された楽音データＤｓ’と映像データＤｇ’とをグラフィックバッファ１０とサウンドバッファ１１とに振り分けて出力する。グラフィックバッファ１０は、バッファ１０ａとバッファ１０ｂから構成されている。あるタイムスロットにおいて、一方のバッファに映像データＤｇ’を書き込む場合、他方のバッファから映像データＤｇ’が読み出されるようになっており、書き込みと読み出しが交互に行われるようになっている。また、サウンドバッファ１１は、グラフィックバッファ１０と同様に、バッファ１１ａとバッファ１１ｂから構成されており、書き込みと読み出しが交互に行われるようになっている。
【００２９】
次に、１２はＲＡＭＤＡＣであり、グラフィックバッファ１０から読み出された映像データＤｇ’をデジタル信号からアナログ信号に変換して映像信号を生成する。また、１３はサウンドＤＡＣであって、サウンドバッファ１１から読み出された楽音データＤｓ’をデジタル信号からアナログ信号に変換して楽音信号を生成する。
【００３０】
以上の構成によれば、グラフィック処理とサウンド処理とで、ＰＣＩバスインターフェース３、３ＤＧ・サウンド共用バッファ４、テクスチャ・サウンド共用メモリ５、３ＤＧ・ＷＴ音源共用エンジン６、エフェクト共用エンジン７、およびワークＲＡＭ８を兼用できるので、構成を簡易にすることができる。
【００３１】
２．実施形態の動作
次に、図面を参照しつつ、本実施形態に係わるデータ処理装置の動作を説明する。
まず、データ処理装置１００の全体動作について説明する。図２は、グラフィック処理とサウンド処理の時分割動作を示す概念図である。図に示すように、データ処理装置１００は、５．３ｍｓ毎のタイムスロットを基本単位として動作しており、各タイムスロット０，１，…の中でグラフィック処理とサウンド処理が時分割で行われる。なお、１タイムスロットの期間を５．３ｍｓに設定したのは、楽音データＤｇ’のサンプリング周波数を４８ＫＨｚに設定した場合、１タイムスロットのサンプリング数が２５６個となり、処理単位として都合が良いからである。
【００３２】
サウンド処理は、各タイムスロット０，１，…の開始直後に行われる。この例にあっては、ＴＳ０，ＴＳ１，…がサウンド処理期間として割り当てられている。ところで、サウンド処理期間ＴＳ０，ＴＳ１，…における同時発音数は、動的に変化するので、それらの処理に要する時間も同時発音数に応じて変化する。このため、各サウンド期間ＴＳ０，ＴＳ１，…は一致するとは限らないが、各タイムスロットの開始直後からサウンド処理期間は始まるので、処理時間が不足するといった不都合は生じない。したがって、各タイムスロット毎に２５６サンプルの楽音データＤｓ’が、サウンドバッファ１１を構成するバッファ１１ａ，１１ｂに交互に書き込まれ、それらから読み出される。
【００３３】
一方、グラフィック処理は、サウンド処理期間が終了した直後から開始し、当該タイムスロットが終了するまで継続する。この例にあっては、Ｔｇ０，Ｔｇ１，…がグラフィック処理期間として割り当てられている。すなわち、サウンド処理期間終了後の残りの時間で処理可能なだけグラフィック処理を実行する。このため、グラフィックバッファ１０に書き込まれる映像データＤｇ’のサンプル数は変動するが、３ＤＧ・ＷＴ音源共用エンジン６やエフェクト共用エンジン７の動作速度は、余裕をもって設定されているので、グラフィック処理が間に合わないといった事態は希である。また、仮にグラフィック処理が間に合わない場合には、前のフレームのデータを使用することにより、使用者に違和感を与えないようにしている。
【００３４】
次に、３ＤＧ・ＷＴ音源共用エンジン６で行われる内部処理を説明する。図３は、３ＤＧ・ＷＴ音源共用エンジン６で行われるサウンド処理の内容を示す概念図である。まず、テクスチャ・サウンド共用メモリ５には図に示す原波形をサンプリングして得たウエーブテーブルデータＤｗが格納されているものとする。この場合、当該ウエーブテーブルデータＤｗはデータＤ１〜Ｄ９から構成されている。ここで、発音制御データＤｈの示すピッチが、ウエーブテーブルデータＤｗの１／２倍であったとすると、３ＤＧ・ＷＴ音源共用エンジン６は隣接するデータを用いて補間処理を行う。図に示す補間波形は、補間処理の結果を示すものである。例えば、データＤ２’は、Ｄ２’＝（Ｄ２＋Ｄ３）／２によって算出される。
ここで、同時発音数を３とすれば、図３の下段に示すように各々の音色に応じた補間波形が３つ得られる。この後、発音制御データＤｈの示す音量に応じた係数を各々乗算し、各乗算結果を加算することによって、楽音データＤｓが生成される。
【００３５】
また、図４は、３ＤＧ・ＷＴ音源共用エンジン６で行われるグラフィック処理の内容を示す概念図である。図４の上段はテクスチャデータＤｔをビットマップ形式で示したのものであり、白丸は各ピクセルを表している。ここで、処理対象のポリゴンに対応する領域が三角形Ｇで示されるものであり、ポリゴンデータＤｐの指示する座標情報が三角形Ｇを横方向に拡大し、紙面方向に三角形Ｇを傾けること表しているとすれば、スクリーン上でのポリゴンは、例えば、図４の中段に示すものとなる。この場合、白丸のピクセルは元のテクスチャデータＤｔに存在した実データであり、黒丸のピクセルは補間処理によって生成されたものである。例えば、ピクセルＰ１’は、隣接するピクセルＰ１とピクセルＰ２から補間されたものである。ピクセルＰ１を示すデータをＤｐ１、ピクセルＰ１’を示すデータをＤｐ１’、ピクセルＰ２を示すデータをＤｐ２とすれば、データＤｐ１’は、Ｄｐ１’＝（Ｄｐ１＋Ｄｐ２）／２によって算出される。
【００３６】
このようにして各ポリゴンに対応するデータが生成された後、透明度を付加するαブレンディング処理が行われる。例えば、３つのポリゴンを重ねて表示するような場合にあっては、図４の下段に示すように、各ポリゴンに対応するデータに、ポリゴンデータＤｐが指示する透明度に応じた係数を各々乗算し、乗算結果を加算することによって、映像データＤｇが生成される。
【００３７】
以上、説明したように本実施形態によれば、グラフィック処理とサウンド処理の共通点に着目して、従来別系統で行われていた処理を１系統で行うようにしたので、ＰＣＩバスインターフェース３、３ＤＧ・サウンド共用バッファ４、テクスチャ・サウンド共用メモリ５、３ＤＧ・ＷＴ音源共用エンジン６、エフェクト共用エンジン７、およびワークＲＡＭ８を兼用することができる。この結果、構成を略半分に削減することができる。
【００３８】
また、各タイムスロットの始めの部分でサウンド処理を行うようにしたので、楽音データＤｓを確実に生成することができる。この結果、処理時間が間に合わくなって不連続な楽音データＤｓを出力するといったことがないので、違和感がなく高品質の楽音信号を生成することが可能となる。しかも、サウンド処理が終了した後は、グラッフィク処理を当該タイムスロットが終了するまで可能な限り行うので、映像データＤｇの処理が間に合わないといったこともほとんどない。また、仮に処理が間に合わないとしても、映像データＤｇはフレーム間の相関性が極めて高いので、前のフレームで生成された映像データＤｇを使用できるので、画質劣化の少ない映像信号を出力することができる。
【００３９】
なお、上述した実施形態にあっては、テクスチャデータＤｔとウエーブテーブルデータＤｗとをテクスチャ・サウンド共用メモリ５に格納したが、本発明はこれに限定されるものではなく、テクスチャデータＤｔを格納するメモリとウエーブテーブルデータＤｗを格納するメモリを別々に設けてもよい。
また、ＰＣＩバス３の代わりにＡＧＰバスを用いてもよい。この場合には、テクスチャ・サウンド共用メモリ５をサウンド・ビデオ共用カード上に配置するだけでなく、システムのメインメモリ上にも配置して、テクスチャ・サウンド共用メモリ５の容量を削減することができる。
また、上述した３ＤＧ・ＷＴ音源共用エンジン６は、補間処理、間引処理および合成処理を行うものであったが、合成処理を行わないものであってもよい。
【００４０】
【発明の効果】
上述したように本発明に係る発明特定事項によれば、グラフィック処理とサウンド処理とを１系統で行うようにしたので、データ処理装置の回路規模を大幅に削減することができる。
また、サウンド処理をグラッフィク処理に優先させるようにしたので、違和感がなく高品質の楽音データを生成することができ、装置全体として見たとき、バランスのとれたシステムにすることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係わるデータ処理装置のブロック図である。
【図２】同実施形態に係わるグラフィック処理とサウンド処理の時分割動作を示す概念図である。
【図３】同実施形態に係わる３ＤＧ・ＷＴ音源共用エンジンで行われるサウンド処理の内容を示す概念図である。
【図４】同実施形態に係わる３ＤＧ・ＷＴ音源共用エンジンで行われるグラフィック処理の内容を示す概念図である。
【図５】従来のパーソナルコンピュータにおけるグラフィック処理とサウンド処理に係わる部分のブロック図である。
【符号の説明】
５…テクスチャ・サウンド共用メモリ（記憶手段）、６…３ＤＧ・ＷＴ音源共用エンジン（処理手段）、１１…サウンドバッファ（楽音バッファ）、１２…グラッフィクバッファ（映像バッファ）、Ｄｈ…発音制御データ、Ｄｗ…ウエーブテーブルデータ（元波形データ）、Ｄｓ…楽音データ、Ｄｐ…ポリゴンデータ（画像制御データ）、Ｄｔ…テクスチャデータ（元映像データ）、Ｄｇ…映像データ。
Claims (6)
- 補間処理または間引処理を実行する機能を有する演算部を有し、
楽音のピッチおよび元波形データを指示する情報を含む発音制御データに基づき、指示された元波形データの補間処理または間引処理を前記演算部に行わせ、指示されたピッチの楽音データを生成する楽音データ生成処理と、元映像データの種別情報およびスクリーン上における元映像データのマッピング対象領域を指示する情報を含む画像制御データに基づき、指示された元映像データの補間処理または間引き処理を前記演算部に行わせ、指示されたスクリーン上のマッピング対象領域にマッピングされた映像データを生成する映像データ生成処理とを時分割により行うことを特徴とするデータ処理装置。 - 前記演算部は合成処理を実行する機能をさらに有し、
前記発音制御データは音量情報をさらに含み、
前記画像制御データは透過度情報をさらに含み、
前記楽音データ生成処理は、前記波形データの補間処理または間引処理により生成された複数の楽音データを前記発音制御データに含まれる情報により指示された音量情報に基づいて合成する合成処理を前記演算部に実行させる処理をさらに含み、
前記映像データ生成処理は、前記元映像データの補間処理または間引処理により生成された複数の映像データを前記画像制御データの指示する透過度情報に応じて合成する合成処理を前記演算部に実行させる処理をさらに含むことを特徴とする請求項１に記載のデータ処理装置。 - 複数の元波形データと複数の元映像データとを記憶する記憶手段を備え、前記発音制御データによって指示された元波形データを前記記憶手段から読み出すと共に前記画像制御データによって指示された元映像データを前記記憶手段から読み出すことを特徴とする請求項１または２に記載のデータ処理装置。
- 前記演算部によって生成される楽音データにバッファリングを施して連続した前記楽音データを出力する楽音バッファと、
前記演算部によって生成される映像データにバッファリングを施して連続した前記映像データを出力する映像バッファと
を備えたことを特徴とする請求項１または２に記載のデータ処理装置。 - 分割されたタイムスロットの始まりから前記楽音データ生成処理を行い、この後、当該タイムスロットが終了するまでの残り時間を利用して前記映像データ生成処理を行うことを特徴とする請求項１ないし４のうちいずれか１項に記載のデータ処理装置。
- 補間処理または間引処理を実行する機能を有する演算部を備えたデータ処理装置におけるデータ処理方法において、
楽音のピッチおよび元波形データを指示する情報を含む発音制御データに基づき、指示された元波形データの補間処理または間引処理を前記演算部に行わせ、指示されたピッチの楽音データを生成する楽音データ生成処理と、元映像データの種別情報およびスクリーン上における元映像データのマッピング対象領域を指示する情報を含む画像制御データに基づき、指示された元映像データの補間処理または間引き処理を前記演算部に行わせ、指示されたスクリーン上のマッピング対象領域にマッピングされた映像データを生成する映像データ生成処理とを時分割により行うことを特徴とするデータ処理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34020197A JP3596263B2 (ja) | 1997-12-10 | 1997-12-10 | データ処理装置およびデータ処理方法 |
| TW087119980A TW388841B (en) | 1997-12-10 | 1998-12-02 | Data processing apparatus and data processing method |
| US09/207,098 US6529191B1 (en) | 1997-12-10 | 1998-12-07 | Data processing apparatus and data processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34020197A JP3596263B2 (ja) | 1997-12-10 | 1997-12-10 | データ処理装置およびデータ処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11175069A JPH11175069A (ja) | 1999-07-02 |
| JP3596263B2 true JP3596263B2 (ja) | 2004-12-02 |
Family
ID=18334683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34020197A Expired - Fee Related JP3596263B2 (ja) | 1997-12-10 | 1997-12-10 | データ処理装置およびデータ処理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6529191B1 (ja) |
| JP (1) | JP3596263B2 (ja) |
| TW (1) | TW388841B (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002049363A (ja) * | 2000-05-24 | 2002-02-15 | Sharp Corp | 画像表示システム |
| US7648416B2 (en) * | 2001-02-08 | 2010-01-19 | Sony Computer Entertainment Inc. | Information expressing method |
| TWI252468B (en) * | 2004-02-13 | 2006-04-01 | Mediatek Inc | Wavetable synthesis system with memory management according to data importance and method of the same |
| US8571237B2 (en) * | 2009-07-02 | 2013-10-29 | Amp'd PC Technologies, LLC | Multi-zone audio amplification system for multimedia |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DK0670555T3 (da) * | 1992-09-28 | 2000-09-18 | Olympus Optical Co | Registreringsmedium med prikkode og informationsregistreringssystem |
| JP2765426B2 (ja) * | 1992-10-30 | 1998-06-18 | ヤマハ株式会社 | 効果付与装置および電子楽器 |
| JP3625880B2 (ja) * | 1994-12-02 | 2005-03-02 | 株式会社ソニー・コンピュータエンタテインメント | 音源装置 |
| EP0750290B1 (en) * | 1995-06-19 | 2002-09-25 | Yamaha Corporation | Method and device for forming a tone waveform by combined use of different waveform sample forming resolutions |
| JP3384290B2 (ja) * | 1997-07-25 | 2003-03-10 | ヤマハ株式会社 | 音源装置 |
| JP3637578B2 (ja) * | 1997-10-21 | 2005-04-13 | ヤマハ株式会社 | 楽音生成方法 |
-
1997
- 1997-12-10 JP JP34020197A patent/JP3596263B2/ja not_active Expired - Fee Related
-
1998
- 1998-12-02 TW TW087119980A patent/TW388841B/zh not_active IP Right Cessation
- 1998-12-07 US US09/207,098 patent/US6529191B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11175069A (ja) | 1999-07-02 |
| TW388841B (en) | 2000-05-01 |
| US6529191B1 (en) | 2003-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5915972A (en) | Display apparatus for karaoke | |
| JP3645024B2 (ja) | 描画装置及び描画方法 | |
| JP2004005567A (ja) | コンピュータディスプレイ画像を生成する方法ならびに画像データを生成するコンピュータ処理システムおよびグラフィックスプロセッサ | |
| JP2003515766A (ja) | ハンドヘルドｌｃｄ素子に高い色解像度を表示するための方法および装置 | |
| US6339430B1 (en) | Video game machine and method for changing texture of models | |
| JP3352982B2 (ja) | レンダリング方法及び装置、ゲーム装置、並びに立体モデルをレンダリングするプログラムを格納するコンピュータ読み取り可能な記録媒体 | |
| JP3596263B2 (ja) | データ処理装置およびデータ処理方法 | |
| JP2002117412A (ja) | 画像処理システム、デバイス、方法及びコンピュータプログラム | |
| JP3979162B2 (ja) | 画像処理装置およびその方法 | |
| US6151035A (en) | Method and system for generating graphic data | |
| US6646650B2 (en) | Image generating apparatus and image generating program | |
| JP3548648B2 (ja) | 描画装置及び描画方法 | |
| JP4637199B2 (ja) | 画像処理装置、画像処理方法、ならびに、プログラム | |
| JP3910259B2 (ja) | 画像処理装置および方法、並びにレンダリング装置および方法 | |
| JP2000056750A (ja) | 画像生成装置および画像生成方法 | |
| JP3971448B2 (ja) | 描画装置及び描画方法 | |
| JPH06180569A (ja) | 画像処理装置 | |
| JP2000149052A (ja) | 画像処理装置及び記憶媒体 | |
| JP3701557B2 (ja) | 画像表示制御方法及び装置、並びにコンピュータ読取可能な記録媒体 | |
| JP4635379B2 (ja) | 画像処理装置 | |
| JP3330841B2 (ja) | 三次元画像生成方法及びその装置 | |
| JP2003296748A (ja) | 画像処理装置およびその方法 | |
| JP2007132961A (ja) | マルチメディアプロセッサ及びサウンドプロセッサ | |
| JP3358891B2 (ja) | Ｚ値の透視変換処理方法及び画像処理装置 | |
| JP3934111B2 (ja) | 描画装置及び描画方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040323 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040521 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040817 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040830 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070917 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080917 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090917 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100917 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100917 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110917 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120917 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130917 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |