JP4658397B2 - オーディオメモリ内のデータを予めキャッシュする方法及び装置 - Google Patents
オーディオメモリ内のデータを予めキャッシュする方法及び装置 Download PDFInfo
- Publication number
- JP4658397B2 JP4658397B2 JP2001206705A JP2001206705A JP4658397B2 JP 4658397 B2 JP4658397 B2 JP 4658397B2 JP 2001206705 A JP2001206705 A JP 2001206705A JP 2001206705 A JP2001206705 A JP 2001206705A JP 4658397 B2 JP4658397 B2 JP 4658397B2
- Authority
- JP
- Japan
- Prior art keywords
- audio
- memory
- related data
- data
- video game
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
【発明の属する技術分野】
本発明は、オーディオメモリへのアクセス方法及び装置に関し、より特定的には、ビデオゲームシステムのオーディオメモリにおいて、ノンオーディオ関連データをプリキャッシングするための方法及び装置に関する。
【0002】
【従来の技術】
恐竜、宇宙人、アニメ化されたおもちゃといった空想的な生物が、非常にリアルに映像化された映画を見かけることが多くなっている。このような動画は、コンピュータグラフィックスにより可能となっている。この技術を用いることにより、コンピュータグラフィックスアーチストは、各物体の形状及び時間の経過に伴って生じる外見上の変化を特定することができる。そして、コンピュータが物体をモデリングして、ホームテレビやコンピュータ等の画面上に表示する。表示画像の各部分は、そのシーンにおける物体相互の距離及び向き、各物体に対する照明方向、各物体の表面の質感、その他様々な要素に基づき着色・形成され、この着色・形成を適切に行うために必要な数多くの処理は、コンピュータが引き受ける。
【0003】
コンピュータグラフィックスの生成処理が複雑なため、ほんの数年前まで、コンピュータで生成した3次元グラフィックスの活用は、高価格で専門化されたフライトシミュレータ、ハイエンドグラフィックスワークステーション及びスーパーコンピュータに限られていた。人々は、これらコンピュータシステムによって作り出された画像を、映画や制作費の高いテレビコマーシャルで目にすることがあっても、実際にグラフィックスを作成しているコンピュータと接触することはできなかったのである。しかし、ニンテンドウ64(登録商標)や各種3Dグラフィックスカード等、比較的安価なパーソナルコンピュータ用グラフィックスプラットフォームの登場により、状況は変わった。今や、自宅やオフィスでも、手ごろな価格のコンピュータグラフィックスシステムを用いて、迫力のある3Dアニメーション及びシミュレーションを、対話的に作り出すことが可能になっている。
【0004】
【発明が解決しようとする課題】
対話式3Dコンピュータグラフィックスシステムは、ビデオゲームのプレイに使用されることが多い。しかしながら、「ゲーミング体験」を左右するのは、典型的にはビデオコンテンツだけではない。例えば、ほぼ全てのゲーミング体験では、ビデオコンテンツを伴うオーディオコンテンツの存在が大きい。本明細書では、3次元空間に配置されるサウンドエミッタをイネーブルして、スピーカ1対と共にサイコアコースティックな3Dサウンド効果を生成するための有効な手段を提供する、オーディオシステムに関して説明する。このオーディオシステムは、DVD等の大容量記憶媒体から読み出される、例えばサウンドサンプル、インスツルメントウェーブテーブル、オーディオトラック等を、記憶するのに使用されるオーディオメモリを含む。サンプル、ウェーブテーブル、トラック等は、オーディオデジタル信号プロセッサにより順次読み出され処理されて、ゲームオーディオコンテンツが生成される。このコンテンツは、順次読み出された場所からメインメモリに転送されて、デコーダに供給され、スピーカに出力される。別個にオーディオメモリを備えることにより、メインシステムメモリへのアクセスを試みる他のリソース(グラフィックスサブシステム等)に対処する必要が無くなり、オーディオ処理回路によるオーディオデータへのアクセスが向上する。
【0005】
さらに具体的に説明すれば、別個にオーディオメモリを備えることにより、データアクセスが必要なリソースに効率的にデータアクセスを提供する、システム性能のさらなる強化にもつながる。例えば、DVDは相対的に「待ち時間」が長い、すなわち要求に応答して該当データがリターンするのにかかる時間が比較的長い。そのため、DVDからのアニメーションデータや圧縮グラフィックスデータ等のデータを、そのデータが必要となる時間以前にプリフェッチしておけば、データを必要としている構成要素に速やかに供給させることができるため、有効である。オーディオメモリは、この「プリフェッチされた」ノンオーディオ関連データのためのキャッシュとして使用され得る。その後、レンダリングパイプライン等でデータが必要になると、データは、DMA回路を経由して、データを必要としている構成要素に対して使用可能になったメインメモリに転送される。メインメモリに転送されたデータは、適宜復元される。
【0006】
【課題を解決するための手段】
従って、本発明の1つの局面は、ビデオゲームシステムは、オーディオデジタル信号プロセッサ、メインメモリ及びメインメモリとは別個に備えられ、オーディオデジタル信号プロセッサにより処理されるオーディオ関連データを記憶するオーディオメモリ、を備えていることにある。メモリアクセス回路は、大容量記憶装置に記憶されるノンオーディオ関連データを読み出し、そのノンオーディオ関連データをオーディオメモリに書き込む。その後、オーディオデジタル信号プロセッサによる処理無しに、ノンオーディオ関連データは、オーディオメモリから読み出され、メインメモリに書き込まれる。
【0007】
本発明の別の局面は、大容量記憶装置に記憶されるノンオーディオ関連データへのアクセス方法であって、メインメモリとは別個にオーディオメモリを備え、そのオーディオメモリに、オーディオデジタル信号プロセッサにより処理されるオーディオ関連データを記憶することにある。ノンオーディオ関連データは、大容量記憶装置から読み出され、オーディオメモリに書き込まれる。その後、オーディオデジタル信号プロセッサによる処理無しに、ノンオーディオ関連データは、オーディオメモリから読み出され、メインメモリに書き込まれる。
【0008】
【発明の実施の形態】
図1に、対話式3Dコンピュータグラフィックスシステム50の一例を示す。システム50は、興味をそそるステレオサウンドを伴う対話式3Dビデオゲームをプレイするのに使用され得る。さらに、その他様々なアプリケーションにも使用され得る。
【0009】
本例において、システム50は、デジタル表現又は3次元世界のモデルを、対話的にリアルタイムで処理する機能を有する。システム50は、その世界をどこでも任意の視点から部分的又は全体的に表示することができる。例えば、システム50は、手持ちコントローラ52a及び52b、又はその他の入力装置からのリアルタイム入力に応答して、対話的に視点を変えることができる。これにより、ゲームプレイヤは、世界の内部又は外部にいる誰かの目を通してその世界を見ることができる。システム50は、リアルタイム対話式3D表示を必要としないアプリケーションに使用可能であるが(例えば、2D表示生成及び/又は非対話式表示)、その高品質な3D画像の超高速表示機能により、非常にリアルで迫力のあるゲームプレイの制作、又はその他グラフィカルな対話に使用することができる。
【0010】
システム50を用いてビデオゲーム等のアプリケーションをプレイするには、ユーザは、まずケーブル58を用いて、メインユニット54を自身のカラーテレビセット56又はその他の表示装置に接続する。メインユニット54は、ビデオ信号とオーディオ信号とを生成して、カラーテレビセット56を制御する。ビデオ信号は、テレビスクリーン59上に表示される画像を制御するものであり、オーディオ信号は、テレビステレオスピーカ61L、61Rを通して、サウンドとして再生される。
【0011】
さらに、ユーザは、メインユニット54を電源に接続する。この電源は、従来のACアダプタ(図示せず)であって、標準型の家庭用電気コンセントに差込まれ、家庭用電流をメインユニット54への電力供給に適した低いDC電圧信号に変換する。電池は他の実施形態で使用可能である。
【0012】
ユーザは、手持ちコントローラ52a及び52bでメインユニット54を制御してもよい。例えば、操縦部60を用いて、テレビ56に表示されるキャラクタが3次元世界で動く方向を特定してもよい(上下、左右、近づける・遠ざける)。操縦部60は、さらにその他のアプリケーションに入力を与える(例えば、メニューの選択、ポインタ/カーソルの制御等)。コントローラ52は、様々な形をとることができる。本例においては、図示されるコントローラ52は、それぞれジョイスティック、プッシュボタン及び/又は方向スイッチ等の操縦部60を備える。コントローラ52は、電磁(無線、赤外線等)波を介して、ケーブル又はワイヤレスでメインユニット54に接続されてもよい。
【0013】
ゲーム等のアプリケーションをプレイする場合、ユーザは、ビデオゲーム等の自身がプレイしたいアプリケーションを記憶している記憶媒体62を適宜選択し、その記憶媒体をメインユニット54のスロット64に挿入する。記憶媒体62は、例えば、特別にコード化及び/又は暗号化された光及び/又は磁気ディスクであってもよい。ユーザは、電源スイッチ66を操作してメインユニット54をオンにし、記憶媒体62に記憶されているソフトウェアに基づいて、ビデオゲーム等のアプリケーションの実行を開始させる。ユーザは、コントローラ52を操作して、メインユニット54に入力を与えてもよい。例えば、操縦部60を操作すると、ゲーム等のアプリケーションがスタートし得る。他の操縦部60を動かすと、アニメ化されたキャラクタがそれぞれ異なる方向に移動したり、3次元世界におけるユーザの視点が変化し得る。記憶媒体62内部に格納されている特定のソフトウェアにより、コントローラ52上の各操縦部60は、異なる時間に異なる機能を実行することができる。
【0014】
(システム全体の電子部品例)
図2は、システム50の構成要素例を示すブロック図である。主な構成要素としては、
・メインプロセッサ(CPU)110
・メインメモリ112、及び
・グラフィックス&オーディオプロセッサ114
が含まれる。
【0015】
本例において、メインプロセッサ110(例えば、機能拡張型IBM Power PC 750)は、グラフィックス&オーディオプロセッサ114を介して、手持ちコントローラ52(及び/又はその他の入力装置)から入力を受け取る。メインプロセッサ110は、ユーザ入力に対話的に応答し、例えば、光ディスクドライブ等の大容量記憶アクセス装置106を介して外部記憶媒体62によって提供されるビデオゲーム又はその他のプログラムを実行する。例えば、ビデオゲームプレイの状況において、メインプロセッサ110は、様々な対話式制御機能に加え、衝突検出や動画処理を行うことができる。
【0016】
本例では、メインプロセッサ110は、3Dグラフィックスコマンドとオーディオコマンドとを生成し、それらをグラフィックス&オーディオプロセッサ114に送出する。グラフィックス&オーディオプロセッサ114は、これらコマンドを処理し、ディスプレイ59上に動的な視覚画像を生成し、さらにステレオスピーカ61R及び61L、又はその他の適切なサウンド発生装置から、高品質なステレオサウンドを出力する。
【0017】
例示のシステム50は、グラフィックス&オーディオプロセッサ114から画像信号を受信し、その画像信号を、コンピュータのモニタや家庭用カラーテレビセット56等の標準的な表示装置に表示するのに適したアナログ及び/又はデジタルビデオ信号に変換するビデオエンコーダ120を含む。システム150は、デジタル化されたオーディオ信号を圧縮/伸張し、さらに必要に応じてデジタルオーディオ信号フォーマットとアナログオーディオ信号フォーマットとの間の変換を行うオーディオコーデック(コンプレッサ/デコンプレッサ)122をさらに含む。オーディオコーデック122は、バッファ124を介してオーディオ入力を受け取り、それらを処理(プロセッサが生成したその他のオーディオ信号や、大容量記憶アクセス装置106のオーディオ出力ストリームを介して受信するオーディオ信号をミックス)するためにグラフィックス&オーディオプロセッサ114に提供することもできる。本例におけるグラフィックス&オーディオプロセッサ114は、オーディオ関連情報をオーディオタスクに使用可能なオーディオメモリ126に格納することができる。グラフィックス&オーディオプロセッサ114は、処理結果のオーディオ出力信号を、伸張してアナログ信号に変換(例えば、バッファアンプ128L及び128Rを介して)するために、オーディオコーデック122に出力し、その結果、スピーカ61L及び61Rによって再生され得る。
【0018】
グラフィックス&オーディオプロセッサ114は、システム50中に存在する様々な付加装置と通信する機能を備えている。例えば、パラレルデジタルバス130は、大容量記憶アクセス装置106及び/又はその他の構成要素との通信に使用され得る。シリアル周辺バス132は、例えば、
・プログラム可能な読み出し専用メモリ及び/又はリアルタイムクロック134
・モデム136又はその他のネットワーキングインタフェース(プログラム命令及び/又はデータが、そこからダウンロード又はそこにアップロードされ得る、インターネットやその他のデジタルネットワーク等のテレコミュニケーションネットワーク138に、システム50を接続し得るもの)
・フラッシュメモリ140
等の各種周辺装置と通信するのに使用されてもよい。なお、さらなる外部シリアルバス142は、追加拡張メモリ144(例えば、メモリカード)等の装置との通信に使用されてもよい。コネクタは、様々な装置をバス130、132、142に接続するために使用されてもよい。
【0019】
(グラフィックス&オーディオプロセッサの例)
図3は、グラフィックス&オーディオプロセッサ114の一例を示すブロック図である。グラフィックス&オーディオプロセッサ114は、例えば、1チップASIC(特定用途向け集積回路)である。本例においては、グラフィックス&オーディオプロセッサ114は、
・プロセッサインタフェース150
・メモリインタフェース/コントローラ152
・3Dグラフィックスプロセッサ154
・オーディオデジタル信号プロセッサ(DSP)156
・オーディオメモリインタフェース158
・オーディオインタフェース&ミキサ160
・周辺コントローラ162、及び
・ディスプレイコントローラ164
を備える。
【0020】
3Dグラフィックスプロセッサ154は、グラフィックス処理タスクを行う。オーディオデジタル信号プロセッサ156は、オーディオ処理タスクを行う。ディスプレイコントローラ164は、メインメモリ112の画像情報にアクセスし、それをディスプレイ装置56に表示するためビデオエンコーダ120に供給する。オーディオインタフェース&ミキサ160は、オーディオコーデック122と接続されて、異なるソースからのオーディオ(例えば、大容量記憶アクセス装置106からのオーディオストリーム、オーディオDSP156からの出力及びオーディオコーデック122を介して受信した外部オーディオ入力)をミックスすることができる。プロセッサインタフェース150は、メインプロセッサ110とグラフィックス&オーディオプロセッサ114との間で、データの供給とインタフェース制御とを行う。
【0021】
メモリインタフェース152は、グラフィックス&オーディオプロセッサ114とメモリ112との間で、データの供給とインタフェース制御とを行う。本例では、メインプロセッサ110は、グラフィックス&オーディオプロセッサ114の一部であるプロセッサインタフェース150及びメモリインタフェース152を介して、メインメモリ112にアクセスする。周辺コントローラ162は、グラフィックス&オーディオプロセッサ114と前述した様々な周辺装置との間で、データの供給とインタフェース制御とを行う。オーディオメモリインタフェース158は、オーディオメモリ126とのインタフェースとなる。
【0022】
(グラフィックスパイプラインの例)
図4に、図3に例示の3Dグラフィックスプロセッサ154をより詳細に示した、グラフィックスプロセッシングシステムを示す。3Dグラフィックスプロセッサ154は、他の構成要素に加え、コマンドプロセッサ200と3Dグラフィックスパイプライン180とを備える。メインプロセッサ110は、コマンドプロセッサ200にデータのストリーム(例えば、グラフィックスコマンドストリームや表示リスト)を通信する。メインプロセッサ110は、2レベルキャッシュ115を備え、メモリ待ち時間を最小にする。さらに、メインプロセッサ110は、グラフィックス&オーディオプロセッサ114向けのアンキャッシュデータストリーム用の書き込み用ギャザリングバッファ111を備える。この書き込み用ギャザリングバッファ111は、キャッシュラインを部分的に集めてフルキャッシュラインにし、バスを最大限に使用するために、1回につき1キャッシュラインでデータをグラフィックス&オーディオプロセッサ114に送出する。
【0023】
コマンドプロセッサ200は、メインプロセッサ110から表示コマンドを受信し、それらを解析する。なお、この処理を行うのに必要な追加データがあれば、メモリコントローラ152を介して共有されたメモリ112から取得する。コマンドプロセッサ200は、2D及び/又は3D処理及びレンダリングを行うために、頂点コマンドのストリームをグラフィックスパイプライン180に提供する。グラフィックスパイプライン180は、これらのコマンドに基づいて画像を生成する。結果作り出された画像情報は、メインメモリ112に転送され、パイプライン180のフレームバッファ出力をディスプレイ56に表示するディスプレイコントローラ/ビデオインタフェースユニット164によりアクセスされる。
【0024】
図5は、グラフィックスプロセッサ154を用いて行われる例示的な処理を説明する論理フロー図である。メインプロセッサ110は、グラフィックスコマンドストリーム210、表示リスト212及び頂点配列214をメインメモリ112に格納し、コマンドプロセッサ200にバスインタフェース150を介してポインタを送り出してもよい。メインプロセッサ110は、メインメモリ112内に割り当てられた1つ又はそれ以上のグラフィックス先入れ先出し(FIFO)バッファ210に、グラッフィクスコマンドを格納する。コマンドプロセッサ200は、
・同期/フロー制御及びロードバランシングのために、グラフィックスコマンドを受信してバッファリングする、オンチップFIFOメモリバッファ216を介するメインメモリ112からのコマンドストリーム
・オンチップコールFIFOメモリバッファ218を介するメインメモリ112からの表示リスト212、及び
・頂点キャッシュ220を介するメインメモリ112内のコマンドストリーム及び/又は頂点配列214からの頂点属性、
を取り込む。
【0025】
コマンドプロセッサ200は、コマンド処理動作200aを行い、属性のタイプを浮動小数点形式に変換して、その結果である完全な頂点ポリゴンデータを、レンダリングとラスタライゼーションのためにグラフィックスパイプライン180に送出する。プログラム可能なメモリ調停回路130(図4参照)は、グラフィックスパイプライン180と、コマンドプロセッサ200と、ディスプレイコントローラ/ビデオインタフェースユニット164との間で、共有されたメインメモリ112へのアクセスを調停する。
図4は、
・変換ユニット300
・セットアップ/ラスタライザ400
・テクスチャユニット500
・テクスチャ環境ユニット600、及び
・ピクセルエンジン700、
を備えるグラフィックスパイプライン180を示す。
【0026】
変換ユニット300は、様々な2D及び3D変換やその他動作300a(図5参照)を実行する。変換ユニット300は、1つ又はそれ以上のマトリクスメモリ300bを備え、変換処理300aで使用するマトリクスを格納する。変換ユニット300は、受け取った図形を頂点毎にオブジェクト空間からスクリーン空間に変換したり、受け取ったテクスチャ座標を変換して投影するテクスチャの座標を求めたり(300c)する。変換ユニット300は、さらにポリゴンのクリッピング/カリング300dを行う。照明処理300eも同様に変換ユニット300によって行われ、頂点毎に照明計算を行って、例えば最高8段階の明暗を得る。変換ユニット300は、さらにテクスチャ座標を作成(300c)し、ポリゴンのクリッピング/カリング処理(300d)同様、エンボスタイプのバンプマッピング効果を得る。
【0027】
セットアップ/ラスタライザ400は、変換ユニット300から頂点データを受信し、エッジのラスタライズ、テクスチャ座標のラスタライズ及び色のラスタライズを行う1つ又はそれ以上のラスタライズユニット(400b)に、三角形セットアップ情報を送出するセットアップユニットを含んでいる。
【0028】
テクスチャユニット500(オンチップテクスチャメモリ(TMEM)502を備えていてもかまわない)は、テクスチャに関する様々な処理、例えば
・メインメモリ112からのテクスチャ504の取得、
・例えば、マルチテクスチャ処理、キャッシュ後テクスチャの伸張、テクスチャフィルタリング、エンボス、投影テクスチャを使用しての陰影付け及び照明処理、アルファ透明度や深度のBLITを含むテクスチャ処理(500a)、
・バンプマッピング、疑似テクスチャ、及びテクスチャタイリング効果(500b)用にテクスチャ座標のずれを計算するバンプマップ処理、及び
・間接的テクスチャ処理(500c)、
を行う。
【0029】
テクスチャユニット500は、テクスチャ環境処理(600a)のために、フィルタ処理されたテクスチャの値を、テクスチャ環境ユニット600に出力する。テクスチャ環境ユニット600は、ポリゴンとテクスチャの色/アルファ/深度とをブレンドし、テクスチャフォグ処理(600b)を行って、フォグ効果に基づく逆レンジを得ることができる。テクスチャ環境ユニット600は、例えば色/アルファ変調、エンボス、細部テクスチャリング、テクスチャスワッピング、クランピング、及び深度ブレンディングに基づいて、興味深い様々な環境関連機能を実行するための段階を複数備え得る。
【0030】
ピクセルエンジン700は、深度(Z)比較(700a)及びピクセルブレンディング(700b)を行う。本例において、ピクセルエンジン700は、データを埋め込み型(オンチップ)フレームバッファメモリ702に格納する。グラフィックスパイプライン180は、1つ又はそれ以上の埋め込み型DRAMメモリ702を備え、フレームバッファ及び/又はテクスチャの情報をローカルに格納してもよい。Z比較700a’は、その時点におけるレンダリングモードによっては、グラフィックスパイプライン180の初期段階において行われてもよい(アルファブレンディングが必要でなければ、Z比較は初期の段階で実行されてもよい)。ピクセルエンジン700は、オンチップフレームバッファ702をメインメモリ112に定期的に書き込むコピー動作700cを行い、ディスプレイ/ビデオインタフェースユニット164のアクセスに備える。さらに、このコピー動作700cは、動的なテクスチャ合成効果を得るために、埋め込み型フレームバッファ702の内容をメインメモリ112内のテクスチャにコピーする際にも利用され得る。アンチエリアシング及びその他のフィルタリングは、コピーアウト動作中に行われる。グラフィックスパイプライン180のフレームバッファ出力(最終的にメインメモリ112内に蓄えられる)は、ディスプレイ/ビデオインタフェースユニット164によってフレーム毎に読み出される。ディスプレイコントローラ/ビデオインタフェース164は、デジタルRGBピクセル値を出力して、ディスプレイ56に表示させる。
【0031】
(オーディオシステム例)
オーディオDSP156は、ピッチ変調及び音声のミキシングを行い、データに影響を与える。オーディオDSP156は、オーディオサンプルの記憶に使用され得る大量(例えば16MB以上)のオーディオメモリ126(補助RAM−ARAM)により増補される。オーディオは、デジタル−アナログ変換器を備えるオーディオコーデック122を経由して、スピーカ61及び61Rに送出される。大容量記憶装置62からのオーディオストリームにより、ゲーム実行時にオーディオを高い忠実度で再生するための方法が効率化される。
【0032】
図6は、図3に示すオーディオDSP156、オーディオメモリインタフェース158及びオーディオインタフェース&ミキサ160を、より詳細に示すブロック図である。サンプルレート変換器801は、48kHz又は32kHzのいずれかで(例えば、大容量記憶装置62からの)オーディオストリームをサンプリングし、L/Rボリューム制御部803は、サンプリングされたオーディオの左右チャネルのボリュームレベルを制御する。オーディオストリームは、メインメモリ112を完全にバイパスするため、メモリとプロセッサの帯域幅が温存される。大容量記憶装置62内のオーディオデータが、例えばADPCMフォーマットでエンコードされる場合、大容量記憶アクセス装置106は、ADPCMデータをPCMサンプル(例えば16ビット)に自動的にデコードして、サンプルレート変換器801に与える。
【0033】
DMAチャネル805は、メインメモリ112内の任意の位置からFIFOバッファ807へのデータ転送をイネーブルする。ミキサ809は、サンプルレート変換器801の出力とFIFOバッファ807の出力とをミキシングし、その結果はオーディオコーデック122に出力される。オーディオコーデック122のサンプリングレートは、例えば48kHzであり、オーディオコーデック122は、ステレオ16ビットPCMをアナログ信号に変換する標準シグマデルタコーデックであってもよい。
【0034】
DSPコア811は、100MHz命令クロックを備え、16ビットのデータワード及びアドレス指定を用いる。DSPコア811は、RAM領域(例えば8Kバイト)とROM領域(例えば8Kバイト)とを含むワード(16ビット)アドレス指定可能命令メモリ813、及びRAM領域(例えば8Kバイト)とROM領域(例えば4Kバイト)とを含むワードアドレス指定可能データメモリ815を用いる。DSP DMA819は、メインメモリ112から/へのDSPデータ/命令RAM領域への/からのデータ転送、又はDSPデータ/命令ROM領域からメインメモリ112へのデータ転送のために設けられる。命令メモリ813へのアクセス要求部は、DSP DMA819及びDSP811の2つである。命令RAM領域は、DSP DMA819からは読み出し/書き込みが可能であり、DSP811からは読み出しのみが可能である。命令ROM領域は、DSP811からは読み出しのみが可能である。データメモリ815へのアクセス要求部は、DSP DMA819、データバス1及びデータバス2の3つである。メイルボックスレジスタ817は、メインプロセッサ110との通信のために備えられる。メイルボックスレジスタ817は、メインプロセッサ110からDSPコア811への通信のための第1のメイルボックスレジスタと、DSPコア811からメインプロセッサ110への通信のための第2のメイルボックスレジスタとを備える。レジスタはそれぞれ、例えば32ビット幅である。アクセラレータ821は、DSPコア811の代わりに、オーディオメモリ126からの読み出し及び書き込みに使用することができる。メモリコントローラ823は、オーディオメモリ126のために設けられ、特に、オーディオメモリ126とメインメモリ112との間のデータトランザクションに備えて、メインプロセッサ110により制御されるDSPコア811と専用DMAチャネル825との間におけるオーディオメモリアクセスに対する要求を調停する。一般に、オーディオメモリ126とDSPデータメモリ815との間のデータトランザクションは、DMAチャネル825上で優先される。デコーダ827は、自身に供給されるオーディオサンプルをデコードする。オーディオメモリ126は、主としてオーディオ関連データの記憶を用途とし、SDRAMを16MB含んでいてもよい(合計48MBまで拡張可能)。
【0035】
オーディオデータを記憶するための必要条件を軽減するには、様々な圧縮及び復元方式が利用され得る。ADPCMは、適応差分PCMを意味する。この方式は、上記オーディオサブシステムにより生成されるサウンドの圧縮/復元に使用され、さらに、大容量記憶装置62内のサウンドの圧縮/復元にも使用される。様々なADPCMアルゴリズムが存在するが、オーディオサブシステムで生成されるサウンドと、大容量記憶装置62内のサウンドには、同じアルゴリズムを用いる必要はない。デコーダ827は、オーディオサブシステムによって生成されるサウンドデータの実行時ADPCM復元を行い、大容量記憶アクセス装置106は、大容量記憶装置62からのサウンドデータの実行時ADPCM復元を行う。8ビットPCM圧縮/復元方式は、オーディオサブシステムによって生成されるサウンドデータにも使用することができる。このため、デコーダ827は、8ビットPCM圧縮サウンドデータの実行時復元も行う。もちろん、これら圧縮/復元方式は例示目的であり、これらに限定されるものではない。
【0036】
システムの初期化中、実行時オーディオライブラリがオーディオDSP156にダウンロードされる。このオーディオライブラリは、オーディオDSP156により、メインプロセッサ110によって生成されるコマンドリスト内のコマンドに従って、音声を処理してミキシングするのに使用される。コマンドリストは、メインメモリ112に格納される。オーディオDSP156は、メインメモリからコマンドを取り出して、自身にダウンロードされた実行時オーディオライブラリに従ってそれらを実行する。図7及び図8に、サウンド再生のデータフロー及び制御フローをそれぞれ示す。図7に示すように、サウンドサンプルは、周辺(I/O)コントローラ162を介して大容量記憶装置62からメインメモリ112に読み出され、さらにARAM DMA825を介してメインメモリ112からオーディオメモリ126に読み出される。サウンドサンプルは、アクセラレータ821を介してDSPコア811により読み出され、DSPコア811は、サウンドサンプルを処理/ミキシングする。処理/ミキシングされたサウンドサンプルは、メインメモリ112内にバッファされ、オーディオインタフェースFIFO807に転送されて、オーディオコーデック122を介してスピーカ61L、61Rに出力される。図8に示すように、ゲームアプリケーションにより、最終的なサウンドの必要性が決まる。ゲームアプリケーションは、オーディオDSP156向けにコマンドリストを生成するオーディオシステム(メインプロセッサ)実行時アプリケーションに対してコールする。コマンドリストの実行時に、オーディオDSP156は、適宜サウンドサンプルを取り出して、必要に応じてそれを処理する。
【0037】
ミュージック合成でのデータ及び制御フローは、図7に示すサウンドサンプルにおけるデータ及び制御フローと同様である。大容量記憶装置62からのインスツルメントウェーブテーブルは、メインメモリ112を介してオーディオメモリ126に記憶される。オーディオシステム(メインプロセッサ)実行時アプリケーションにより生成されたコマンドを取得すると、オーディオDSP156は、必要なインスツルメントサンプルを取り出し、それらを処理及びミキシングして、その結果をメインメモリ112に格納する。結果はそこからオーディオインタフェースFIFO807に転送され、オーディオコーデック122を介してスピーカ61L、61Rに出力される。オーディオシステム(メインプロセッサ)実行時アプリケーションによって生成されたコマンドは、大容量記憶装置62からメインメモリ112に読み出され、かつ、ゲームのデマンドに従ってオーディオシステム(メインプロセッサ)実行時アプリケーションによって処理及び順番付けられた、ミュージックスコアによって駆動される。
【0038】
オーディオシステム(メインプロセッサ)実行時アプリケーションは、オーディオトラックの再生及びミキシングを管理して、ソフトウェアストリーミングを提供する。ソフトウェアストリーミングにより、1つ以上のオーディオトラックの同時再生が可能になり、その結果、ある程度の対話が可能になる。例えば、ゲームは、あるトラックから別のトラックにフェードインして、プレイヤのムードに影響を及ぼす。一般に、それぞれ異なるオーディオトラックは、個別のサウンドサンプルとしてオーディオメモリ126内にバッファされる。オーディオDSP156は、トラックを取り出して、他の音声に対して行うようにそれらをミキシングする。
【0039】
オーディオシステムは、サウンドエミッタを三次元空間に配置させる。これは、以下の特徴によって実現される。
・ボリューム及びパニング制御
・ピッチ変調(ドップラー効果)
・初期遅延(左右チャネル間での位相変移)
・FIRフィルタ(HRTF及び環境効果)
これら特徴により、1対のスピーカと共に、サイコアコースティックな3次元サウンド効果を生成するための有効な手段が提供される。
【0040】
音声処理パイプラインを、図9に示す。
1.サンプルは、オーディオDSP156によって、オーディオメモリ126から読み出される。
2.オーディオメモリ126からのADPCM及び8ビットPCMサンプルは、デコードされて、そのデコードされたサンプルは、第1のサンプルレート変換器に供給される。
3.オーディオメモリ126からの16ビットPCMサンプルは、第1のサンプルレート変換器に直接与えられる。
4.サンプルレート変換器は、入力サンプルのピッチを調整する。
5.FIRフィルタは、オプションでユーザ指定のフィルタをサンプルに対して行う。
6.ボリュームランプは、ボリュームランプをサンプルに渡って行い、ボリュームエンベロープアーティキュレーションを得る。
7.ミキサは、サンプルを、32kHzサンプリングレートで、24ビット精度でミキシングする。
【0041】
ステップ1〜7を、音声ごとに繰り返す。音声すべてが処理されて、ミキサバッファに蓄積されると、以下のステップが行われる。
1.ドルビーサラウンド及びメインプロセッサベースの効果(反響、コーラス等)が、ミキシングされた音声に適用される。
2.サンプルは、24ビットから16ビット精度に切り捨てられ、データは、オーディオコーデック122によって48kHzサンプリングレートに変換されて出力される。結果は、メインメモリ112に出力される。
【0042】
図10は、オーディオメモリコントローラ823の詳細なブロック図である。オーディオメモリコントローラ823は、以下の機能を実行する。
・リセット後、オーディオメモリ初期タイミングを発生させて、オーディオメモリを安定化させる(オーディオメモリモードの設定を含む);
・オーディオメモリリフレッシュサイクルを生成する;及び
・DMA825及びアクセラレータ821の読み出し/書き込み要求を受け付け、オーディオメモリ126にアクセスタイミングを発生する。
【0043】
タイミング発生回路928は、アクセスタイミングを発生する。例示のシステムでは、オーディオメモリ126を構成するのは、メモリ素子2つまでである。1つ目が、内部オーディオメモリ926aであり、その最大サイズは8Mバイトである。2つ目が、拡張オーディオメモリ926bであり、その最大サイズは32Mバイトである。内部オーディオメモリ926aのアドレスは、0から始まり、拡張オーディオメモリ926bのアドレスは、内部オーディオメモリの終了アドレスにカスケードされる。このため、内部オーディオメモリ926a及び拡張オーディオメモリ926bのアドレス空間は連続し、拡張オーディオメモリ926bの開始アドレスは、内部オーディオメモリ926aのサイズによって左右される。内部オーディオメモリ926a及び拡張オーディオメモリ926bのモード設定及びリフレッシュサイクルは、同時にアクティブになる。
【0044】
リセット後、オーディオメモリコントローラ823は、オーディオメモリ126(図10に「ARAM初期化」934で示す)を初期化する。初期化中、コントローラ823は、オーディオメモリ126へのアクセスをマスクする。初期化後、オーディオメモリ126は、アクセス自由になる。フラグARAM_NORMは、初期化が行われたことを示すために設定される。上述したように、初期化には、オーディオメモリモード設定が含まれる。以下の設定は、オーディオメモリモードレジスタに設定されてもよい。
・バースト長(例えば2バイト)、
・アドレス指定モード(例えば連続して)、
・CAS待ち時間(2又は3−メインプロセッサ110によりプログラムされる)、及び
・書き込みモード(バースト読み出し及びバースト書き込み)
【0045】
オーディオメモリコントローラ823は、内部オーディオメモリ926a及び拡張オーディオメモリ926bを、同時に初期化する。メインプロセッサ110は、初期化が終了する前にCAS待ち時間をプログラムする。CAS待ち時間がメインプロセッサ110によりプログラムされない場合は、リセットデフォルトCAS=3を用いてオーディオメモリ126にアクセスする。
初期化後、オーディオメモリコントローラ823は、内部オーディオメモリ926a及び拡張オーディオメモリ926bのサイズを決定する。
チップセレクト信号を除いて、内部オーディオメモリ926a及び拡張オーディオメモリ926bは、アドレスバス、データバス及び制御信号を共有する。動作中、調停ユニット930は、3つの要求部に対してアクセスタイミングを発生させる。
・DMA825、
・アクセラレータ821、及び
・リフレッシュカウンタ932。
これら要求部の間の優先順位は、以下の通りである。
リフレッシュカウンタ932>アクセラレータ821>DMA825
【0046】
オートリフレッシュ期間は、プログラム可能であり、オーディオメモリコントローラ823は、リフレッシュサイクルを、内部オーディオメモリ926a及び拡張オーディオメモリ926bに同時に与える。
DSPによりプログラムされた以下のビットは、DMA825により、オーディオメモリ126へのアクセスをマスクするのに使用され得る。
【0047】
AMDM:Ara_M-Dma request Mask
DSPアドレス:0xFFEF
【表1】
AMDMのビット0が設定されると、オーディオメモリ126へのアクセスは、アクセラレータ821に割り当てられる。AMDMのビット0がクリアされると、以下の処理が行われる。
【0048】
典型的に、DMA825は、複数の(例えば16)読み出し/書き込みコマンドを介して、オーディオメモリ126にアクセスする。この時、アクセラレータ821がオーディオメモリ126にアクセスする必要が生じると、オーディオメモリコントローラ823は、その両方がオーディオメモリ126の同じバンクにアクセスを試みているかどうかを判定する。もしそうであれば、オーディオメモリコントローラ823は、DMA825によるアクセスを終了(プリチャージ)させ、アクセスをアクセラレータ821に転送する。アクセラレータ821の終了後、オーディオメモリコントローラ823は、アクセスをDMA825に転送し戻し、DMA825は、残りの読み出し/書き込みコマンドを実行(まずアクティブな状態にする)する。
【0049】
アクセラレータ821及びDMA825がそれぞれ異なるバンクにアクセスしている場合、インタリーブバンクアクセス方式を使用して、アクセラレータ821とDMA825との間のアクセス転送をより良く実行させる。この方式において、オーディオメモリコントローラ823は、DMAバンクをプリチャージ(終了)せず、待ち状態にさせる。その後、オーディオメモリ126へのアクセスは、アクセラレータ821に転送される。アクセラレータ821によるオーディオメモリ126へのアクセスが終了すると、オーディオメモリコントローラ823は、DMA825の残りの読み出し/書き込みコマンドを実行する(最初にアクティブな状態にする必要はない)。
【0050】
オーディオメモリ126のアクセスが512バイト境界を横切ると(違う列)、オーディオメモリコントローラ823は、現在の列をプリチャージしてアクセスを終了し、次の列をアクティブな状態にしてアクセスを開始する。これにより、データ読み出し/書き込みサイクル数が増加する。上記インタリーブバンク方式は、DMAアクセスクロス列又はアクセラレータアクセスクロス列には、使用しない方が好ましい。
【0051】
オーディオメモリDMA825の詳細を、図11に示す。オーディオメモリDMA825は、3つのレジスタ900a〜900cを備え、それぞれ、メインメモリ開始アドレス、オーディオメモリ開始アドレス及びDMA転送のブロック長&方向を定義するのに使用される。メインプロセッサ110は、これらレジスタをプログラムする。レジスタは、32ビット幅であり、DMA転送方向は、ブロック長レジスタのハイワードのビット15によって特定される。各サイドの(すなわち、メインメモリ112、オーディオメモリ126)の開始アドレスは、32バイト境界に位置し、ブロック長は、32バイトの倍数である。DMA転送中、これらレジスタは、各メモリコントローラブロックアクセスによって変調される。オーディオメモリDMAに組み込まれるメモリコントローラサイズ(32バイト)データバッファ950は、帯域幅が一定でないメモリをブリッジする。
【0052】
メインメモリ110からオーディオメモリ126への動作フローは、以下のステップを含む。
1.ブロック長レジスタ900cのローワードの書き込みは、データ転送の準備ができているDMA825をトリガする。
2.DMA825は、読み出した要求をメモリコントローラ152(図3)に送出し、DMAデータバッファ950に入力される32バイトのデータを待つ。
3.32バイトのデータがデータバッファ950に入力されると、DMA825は、調停回路930(図10参照)に書き込み要求を送出して、転送を待つ。
メインメモリアドレスレジスタ900aは、アドレスインクリメント回路960によって32だけ増加される。
4.調停回路930により、DMA825のオーディオメモリ126へのアクセスが許可されると、書き込みコマンドがオーディオメモリ126に送出され、データがバイト単位で移動を開始し、32バイトの移動が完了するまで(バッファが空になるまで)DMAデータバッファ950からオーディオメモリ126に移動する。オーディオメモリアドレスは、オーディオアドレスインクリメント回路962によって32だけ増加され、ブロック長は、ブロック長デクリメント回路964によって32だけ減少される。
5.ステップ2〜4は、ブロック長が0になるまで繰り返される。この時点で、DMA825は停止して、制御ロジック954は、フラグを設定してメインプロセッサ110への割り込みを生成する。この割り込みはマスク可能である。
【0053】
オーディオメモリ126からメインメモリ110への動作フローは、以下のステップを含む。
1.ブロック長レジスタのローワードの書き込みは、データ転送の準備ができているDMA825をトリガする。
2.MDA825は、読み出した要求を調停回路930(図10参照)に送出し、32バイトのデータを待つ。
3.調停回路930により、DMA825のオーディオメモリ126へのアクセスが許可されると、読み出しコマンドがオーディオメモリ126に送出され、データがバイト単位で移動を開始し、データバッファ内への32バイトの移動が完了するまで、オーディオメモリ126からDMAデータバッファ950に移動する。オーディオメモリアドレスレジスタ900b内のオーディオメモリアドレスは、オーディオアドレスインクリメント回路962によって32だけ増加される。
4.32バイトのデータがDMAデータバッファ950に移動すると、DMA825は、メモリコントローラ152に書き込み要求を送出する。その後、32バイトのデータは、DMAデータバッファ950からメモリコントローラバスに移動される。その後、メインメモリ110のアドレスは、メインメモリアドレスインクリメント回路960によって32だけ増加され、ブロック長は、ブロック長デクリメント回路964によって32だけ減少される。
5.ステップ2〜4は、ブロック長が0になるまで繰り返される。この時点で、DMA825は停止して、制御ロジック954は、フラグを設定してメインプロセッサ110への割り込みを生成する。この割り込みはマスク可能である。
【0054】
調停は、各32バイトの転送前に行われる。メモリコントローラバスの調停優先順位は、以下の通りである。
AI DMA805>DSP DMA819>ARAM DMA825
【0055】
図12は、DSP DMA819の詳細を示すブロック図である。上述したように、DSP DMA819は、メインメモリ112から/へのDSPデータ/命令RAM領域への/からのデータ転送、又はDSPデータ/命令ROM領域からメインメモリ112へのデータ転送に動作する。DSP DMA819は、3つのレジスタ796a〜796cを備え、それぞれ、ブロック長、メインメモリアドレス及びDSPメモリアドレスを定義するのに使用される。2x32バイトFIFO792は、データ転送に使用され、64ビットデータバスにより、FIFO792とオーディオメモリ126との間のデータ転送が高速化される。メインメモリ開始アドレスは、4バイト境界に位置し、DSP開始アドレスは、2ワード(32ビット)境界に位置する。ブロック長は、4バイトの倍数である。DSP DMA819の制御レジスタは、DMA転送方向を特定する第1のビットと、データメモリ又は命令メモリがDMA転送に関与しているか否かを特定する第2のビットとを含む。制御レジスタは、制御ロジック790を介してDSP DMAの状態を通知するDSP DMAビジービットも含む。ビジービットは、DSP DMAがイネーブルされると設定され、ブロック長レジスタのブロック長が0に等しくなるとクリアされる。
【0056】
DSP DMA819は、DSPコア811によるブロック長レジスタ796aへの書き込みによりイネーブルされる。DSP DMA819がイネーブルされると、メモリコントローラ152がメインメモリへのアクセスを許可するよう要求する。アクセスが許可されると、データ転送が開始される。データ転送が続行するにつれ、アドレス変更回路798及び799は、メインメモリ112のアクセスアドスを増加させ、レジスタ796b及び796cのDSPメモリを増加させる。レジスタ796a内のブロック長は、ブロックが転送されるにつれて、ブロック長変更回路797に従って減少される。転送は、ブロック長レジスタが0になるまで続けられ、DMA動作はそこで終了する。データ整合及びDSPメモリ制御は、制御回路794によって作用される。
【0057】
データがメインメモリ112からDSPメモリに転送されると、FIFO792がフルであった場合、DSP DMA819は、FIFOがフルでなくなるのを待って、再びメインメモリ112から補充を行う。FIFO792が空でなければ、FIFOが空になるまで、DMAは、FIFOのデータをDSPメモリに転送する。データがDSPメモリからメインメモリ112に転送されると、FIFO792が空であった場合、DSP DMA819は、FIFOが空でない状態になるまで待って、その後FIFOのデータをメインメモリ112に転送する。FIFOがフルでない場合、DMAは、FIFOがフルになるまで、DSPメモリからFIFOへの補充を行う。
DSP DMA相対レジスタの例を、以下に示す。
【0058】
DSMAH:DSp dma Main memory Address High
DSPアドレス:0xFFCE
【表2】
【0059】
DSMAL:DSp dma Main memory Address Low
DSPアドレス:0xFFCF
【表3】
【0060】
DSPA:DSp dma dsP memory Address High
DSPアドレス:0xFFCD
【表4】
【0061】
DSBL:DSp dma Block Length
DSPアドレス:0xFFCB
【表5】
【0062】
DSCR:DSp dma Control Register
DSPアドレス:0xFFC9
【表6】
【0063】
例示のシステムでは、命令RAMは、256x64ビット同期一方向デュアルポートSRAMの4コピーから成り、命令ROMは、2048x16ビット同期単一ポートROMの2コピーから成る。命令RAM及び命令ROMは、互いに独立しているため、命令RAMに対して読み出し/書き込みDMA動作が行われている間は、DSPコア811は、命令ROMにアクセスできる。加えて、DSPDMA819が命令RAMに書き込みを行っている間は、DSPコア811は、命令RAMを読み出すことができる。ハードウェアの競合を避けるには、同時に読み出し/書き込みを行う際の書き込み及び読み出しアドレスは、それぞれ異なっていなければならない。
【0064】
データRAMは、4ページで編成され、各ページは、サイズ1kwordである。データROMは、1ページで構成され、サイズは、2kwordである。データRAMの1ページは、256x16ビット同期一方向デュアルポートSRAMの4コピーから成り、データROMのページは、2048x16ビット同期単一ポートROMの2コピーから成る。各ページは、それぞれ独立しており、ページ毎に3つの要求部に接続するためのデータ、アドレスバス及び読み出し/書き込み制御信号を有する。DSPバス1及び2用のデータ入力/出力ポートは、16ビット幅であり、DSP DMA819用のデータ入力/出力ポートは、64ビットである。この配置では、3つの要求部に対して3ページまで同時にアクティブな状態になることが可能である。
【0065】
本例示システムでは、SRAMページのそれぞれは、読み出し1回、又は書き込み1回、又は読み出し及び書き込みそれぞれ1回でアクセス可能であるが、読み出し2回、又は書き込み2回ではアクセス不可能である。読み出しは、DSPバス1又は2、又はDSP DMAの読み出しであり、書き込みは、DSPバス1又は2、又はDSP DMAの書き込みである。ROMページは、読み出し1回だけでアクセス可能であり、その読み出しは、DSPバス1又は2の読み出しである。DSP DMA819は、データROMの読み出しは行えない。ページがDSP DMAにより読み出されている場合、DSPコア811は、同一ページの書き込みを継続する、又は他のページの読み出し/書き込みを行うことができる。ページがDSP DMA819によって書き込まれている場合は、DSPコア811は、同一ページの読み出しを継続する、又は他のページの読み出し/書き込みを行うことができる。ハードウェアの競合を避けるには、DSPの読み出し、DMA書き込み、又はDSP書き込み及びDMA読み出しは、同じアドレス位置で行ってはならない。DSPコア811は、DMAが読み出し中のページを読み出すことは許可されておらず、DSPは、DMAが書き込み中のページに書き込むことは許可されていない。
【0066】
図13は、アクセラレータ821のブロック図である。上述のように、アクセラレータ821は、DSPコア811の代わりに、オーディオメモリ126からの読み出し及び書き込みに使用される。アクセラレータ821は、自動的にアドレスを増加させる、又は次のアクセス用にラウンドアップアドレスを生成する(循環アドレス指定)、以下のアドレス生成回路902を備える。アクセラレータ821は、読み出し動作中はプリフェッチバッファとして機能し、書き込み動作中は書き込みバッファとして機能する、3つのデータライン904a〜904cを含む。後述するように、データライン904a〜904cは、DSPコア811がオーディオメモリ126にアクセスする場合、オーディオメモリ126のアクセス待ち時間を隠す。DSPコア811への割り込みは、開始アドレスのデータがDSPにより読み出しされると、又は終了アドレスのデータがDSPによりデータラインに書き込まれると、生成される。
【0067】
3つのパラメータレジスタ(現在のアドレス、開始アドレス、終了アドレス)906a〜906cは、オーディオメモリ126のメモリ空間における循環バッファを定義するのに使用される。各パラメータレジスタは、27ビット幅であり、オーディオDSPによって読み出し/書き込み可能である。以下のアドレス生成回路902は、次のアドレスを得るために、現在のアドレスに「1」を加算する。現在のアドレスが終了アドレスに等しい場合、次のアドレスが開始アドレスになる。パラメタレジスタ906a〜906cは、オーディオメモリ126からの読み出し及びへの書き込みに使用される。レジスタ内のアドレスとデータとの関係は、以下の通りである。
【0068】
ACCAH:Accelerator aram Current Address High
DSPアドレス:0xFFD8
【表7】
【0069】
ACCAL:Accelerator aram Current Address Low
DSPアドレス:0xFFD9
【表8】
【0070】
ACEAH:Accelerator aram Ending Address High
DSPアドレス:0xFFD6
【表9】
【0071】
ACEAL:Accelerator aram Ending Address Low
DSPアドレス:0xFFD7
【表10】
【0072】
ACSAH:Accelerator aram Starting Address High
DSPアドレス:0xFFD4
【表11】
【0073】
ACSAL:Accelerator aram Starting Address Low
DSPアドレス:0xFFD5
【表12】
【0074】
データライン904a〜904cは、それぞれ16ビット幅である。読み出し動作では、データラインは、オーディオメモリ126から事前にデータが読み出され、DSPコア811がデータラインを読み出すとそのデータ送出の用意がされる、プリフェッチデータバッファとして機能する。書き込み動作では、データラインは、オーディオメモリ126に書き込まれるDSPコア811からのデータに対して一時的なバッファとして機能する。データライン904a〜904cは、FIFO方式でフォーマットされ、それらの入力/出力ポートは、DSPコア811によって読み出し/書き込み可能である。データライン内のデータのアドレスは、現在のアドレス及び後続の2つのアドレスに対応する。
【0075】
本明細書では、3次元空間に配置されるサウンドエミッタをイネーブルして、スピーカ1対と共にサイコアコースティックな3Dサウンド効果を生成するための有効な手段を提供する、オーディオサブシステムに関して説明する。このオーディオサブシステムは、DVD等の大容量記憶装置から読み出される、例えばサウンドサンプル、インスツルメントウェーブテーブル、オーディオトラック等を記憶するのに使用可能なオーディオメモリを含む。サンプル、ウェーブテーブル、トラック等は、オーディオデジタル信号プロセッサにより順次読み出され処理されて、ゲームオーディオコンテンツが生成される。このコンテンツは、順次読み出された場所からメインメモリに転送されてデコーダに供給され、スピーカに出力される。別個にオーディオメモリを備えることにより、メインシステムメモリへのアクセスを試みる他のリソース(グラフィックスサブシステム等)に対処する必要が無くなり、オーディオ処理回路によるオーディオデータへのアクセスが向上する。
【0076】
上記のようにオーディオメモリ126を備えることにより、データアクセスが必要なリソースに効率的にデータアクセスを提供する、システム性能のさらなる強化にもつながる。例えば、DVDは相対的に「待ち時間」が長い、すなわち要求に応答して該当データがリターンするのにかかる時間が比較的長い。そのため、DVDからのアニメーションデータや圧縮グラフィックスデータ等のデータを、そのデータが必要となる時間以前にプリフェッチしておけば、データを必要としている構成要素に速やかに供給されることができるため、有効である。オーディオメモリは、この「プリフェッチされた」ノンオーディオ関連データのためのキャッシュとして使用され得る。その後、例えばレンダリングパイプライン等でノンオーディオ関連データが必要になると、データはDMA回路825を経由して、データが必要な構成要素に対して使用可能になったメインメモリ112に転送される。メインメモリに転送されたデータは、適宜復元される。
【0077】
本例示システムでは、オーディオメモリ126は、大容量記憶装置62に対して直接的なインタフェースを有さない。このため、プリキャッシュ用のノンオーディオ関連データは、周辺コントローラ162を介して大容量記憶装置62からメインメモリ112に読み出しされ、その後、ARAM DMA825を介してオーディオメモリ126に書き込まれる。そして、ノンオーディオ関連データは、ARAM DMA825を介して読み出され、必要に応じて、例えばレンダリングパイプライン中のメインメモリ112に戻される。もちろん、他の実施形態例においては、オーディオメモリ126は、大容量記憶装置62に対して直接的なインタフェースを備えていてもよく、ノンオーディオ関連データは、メインメモリ112を通ることなくオーディオメモリ126内で「プリキャッシュ」されてもよい。
【0078】
実行時オーディオライブラリは、オーディオDSP156のリソース使用量をモニタするリソース管理アルゴリズムを含み、それに従って、音声の割り当てを動的に限定してもよい。これにより、オーディオ出力の破壊を引き起こすオーディオDSP156の過負荷を防ぐ。好ましくは、リソース管理アルゴリズムは、メモリアクセス待ち時間が最悪である場合を想定し、スムーズで連続的なオーディオを確保する。例えば、音声それぞれのミキシング及び処理に必要な条件にも左右されるが、64音声までサポート可能である。
【0079】
(その他互換性のあるインプリメンテーション例)
上記システム装置50は、上述したホームビデオゲームコンソール構成以外でも実現され得る。例えば、システム50をエミュレート、そうでなければ互換性がある違った構成を有するプラットフォーム上で、システム50向けに記述されたグラフィックスアプリケーションや他のソフトウェアを実行することができる。システム50のハードウェア及びソフトウェアリソースの一部又はすべてを、エミュレート、シミュレート及び/又は提供できるプラットフォームであれば、ソフトウェアを首尾良く実行することができる。
【0080】
例えば、エミュレータは、システム50のハードウェア及び/又はソフトウェア構成(プラットフォーム)とは異なるハードウェア及び/又はソフトウェア構成(プラットフォーム)を提供し得る。このエミュレータシステムは、アプリケーションソフトウェアが記述されたシステムのハードウェア及び/又はソフトウェア構成要素の一部又はすべてを、エミュレート又はシミュレートするソフトウェア及び/又はハードウェア構成要素を含むこともある。例えば、このエミュレータシステムは、システム50のハードウェア及び/又はファームウェアをシミュレートするソフトウェアエミュレータプログラムを実行するパーソナルコンピュータのような汎用デジタルコンピュータを備えることもある。上記オーディオシステムのDSP処理は、パーソナルコンピュータ上でエミュレート可能である。
【0081】
汎用デジタルコンピュータ(例えば、IBMやマッキントッシュのパーソナルコンピュータ、及びその互換機)によっては、DirectXやその他の標準3DグラフィックスコマンドAPIに準拠する3Dグラフィックスパイプラインを提供する、3Dグラフィックスカードを装備している。あるいは、サウンドコマンドの標準セットに基づく高品質な立体的サウンドを可能にする、立体的サウンドカードも装備していることがある。このような、エミュレータソフトウェアを実行するマルチメディアハードウェア対応パーソナルコンピュータは、システム50のグラフィックス及びサウンド性能を近似させるのに十分な性能を有し得る。エミュレータソフトウェアは、パーソナルコンピュータのプラットフォーム上のハードウェアリソースを制御して、ゲームプログラマがゲームソフトウェアを記述したホームビデオゲームコンソールプラットフォームの処理、3Dグラフィックス、サウンド、周辺、及びその他機能をシミュレートする。
【0082】
図14に、ホストプラットフォーム1201、エミュレータ構成1303及び記憶媒体62に用意されたゲームソフトウェアの実行可能な2値画像を用いた、包括的なエミュレーション処理の例を示す。ホスト1201は、例えば、パーソナルコンピュータ、ビデオゲームコンソール又はその他十分な演算能力を有するプラットフォームのような、汎用又は特殊目的用デジタル演算装置である。エミュレータ1303は、ホストプラットフォーム1201上で実行され、記憶媒体62からのコマンド、データ及び情報をホスト1201により処理可能な形式にリアルタイムに変換するソフトウェア及び/又はハードウェアである。例えば、エミュレータ1303は、システム50による実行を意図する「ソース」2値画像プログラム命令を記憶媒体62から取り出し、これらプログラム命令をホスト1201が実行又は処理可能な対象形式に変換する。
【0083】
例えば、ソフトウェアが、IBM Power PC等の特定のプロセッサを用いて、プラットフォーム上で実行されるよう記述されたものであり、ホスト1201がそれとは異なる(例えば、インテルの)プロセッサを使用したパーソナルコンピュータである場合、エミュレータ1303は、記憶媒体62から2値画像のプログラム命令を1つ又はそのシーケンスを取り出して、これらプログラム命令を1つ又はそれ以上の同等なインテルの2値画像プログラム命令に変換する。エミュレータ1303は、グラフィックス&オーディオプロセッサ114による処理向けのグラフィックスコマンドとオーディオコマンドも取り出し及び/又は生成し、これらコマンドを、ホスト1201上で使用可能なハードウェア及び/又はソフトウェアグラフィックス及びオーディオ処理リソースにより処理され得るフォーマットに変換する。一例として、エミュレータ1303は、これらのコマンドを、ホスト1201の特定グラフィックス及び/又はオーディオハードウェアで処理され得るコマンドに変換してもよい(例えば、標準DirectX、OpenGL及び/又はサウンドAPIを用いて)。
【0084】
上記ビデオゲームシステムの特長の一部又はすべてを提供するために使用されるエミュレータ1303は、グラフィックスユーザインタフェース(GUI)を備えていてもよく、これによりエミュレータを用いて実行されるゲームの様々なオプションやスクリーンモードの選択が簡易化又は自動化される。例えば、このようなエミュレータ1303は、本来のソフトウェア用ホストプラットフォームと比べてさらに機能が拡張されていてもよい。
【0085】
図15に、エミュレータ1303と共に使用するのに適したエミュレーションホストシステム1201を示す。システム1201は、処理ユニット1203及びシステムメモリ1205を含む。システムバス1207は、システムメモリ1205を始めとする様々なシステム構成要素を処理ユニット1203に接続する。システムバス1207は、メモリバス又はメモリコントローラを含むバス構造のいくつかのタイプのうちの1つであり、様々なバスアーキテクチャのうちの1つを利用した周辺バス及びローカルバスである。システムメモリ1207は、読み出し専用メモリ(ROM)1252、及びランダムアクセスメモリ(RAM)1254を含む。起動中等、パーソナルコンピュータシステム1201の内部要素の間での情報転送に役立つ基本ルーチンを含む基本入出力システム(BIOS)1256は、ROM1252に格納される。システム1201は、さらに様々なドライブと、それに関連するコンピュータ読み出し可能媒体を含む。ハードディスクドライブ1209は、(典型的に固定の)磁気ハードディスク1211からの読み出し/への書き込みを行う。追加(できればオプションで)磁気ディスクドライブ1213は、着脱可能な「フロッピー」又はその他の磁気ディスク1215からの読み出し/への書き込みを行う。光ディスクドライブ1217は、CD−ROMやその他の光学媒体等の着脱可能な光ディスク1219から読み出しを行い、構成によっては書き込みも行う。ハードディスクドライブ1209及び光ディスクドライブ1217は、それぞれハードディスクドライブインタフェース1221と光ドライブインタフェース1225とによって、システムバス1207に接続される。そのドライブとそれに関連するコンピュータ読み出し可能媒体とは、コンピュータ読み出し可能命令、データ構造、プログラムモジュール、ゲームプログラム及びその他パーソナルコンピュータシステム1201向けのデータを、不揮発的に記憶する。他の構成において、データを格納し、コンピュータによってアクセスされ得るコンピュータ読み出し可能媒体(例えば、磁気カセット、フラッシュメモリカード、デジタルビデオディスク、ベルヌーイカートリッジ、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)等)も使用され得る。
【0086】
エミュレータ1303を含む数多くのプログラムモジュールは、ハードディスク1211、着脱式磁気ディスク1215、光ディスク1219、及び/又はシステムメモリ1205のROM1252及び/又はRAM1254上に記憶される。このようなプログラムモジュールは、グラフィックス&サウンドAPI、1つ又はそれ以上のアプリケーションプログラム、その他プログラムモジュール、プログラムデータ及びゲームデータを提供するオペレーティングシステムを含んでいてもよい。ユーザは、キーボード1227、ポインティング装置1229、マイク、ジョイスティック、ゲームコントローラ、衛星放送用アンテナ、スキャナ等の入力装置を通して、パーソナルコンピュータシステム1201にコマンドや情報を入力する。例えば、これらの入力装置は、システムバス1207に接続されるシリアルポートインタフェース1231を介して処理ユニット1203に接続され得るが、もちろん他のインタフェース、例えばパラレルポート、ゲームポートファイアワイヤバス又はユニバーサルシリアルバス(USB)によっても接続され得る。モニタ1233等の表示装置も、ビデオアダプタ1235等のインタフェースを介してシステムバス1207に接続される。
【0087】
システム1201は、モデム1154やその他のネットワークインタフェース手段も含み、インターネット等のネットワーク1152を介して通信を確立する。内部、外部を問わず、モデム1154は、シリアルポートインタフェース1231を介してシステムバス123に接続される。ネットワークインタフェース1156も備えられていてもよく、これによりシステム1201がローカルエリアネットワーク1158を介して、リモート演算装置1150(別システム1201等)と通信可能になる(この通信は、広域ネットワーク1152、又はダイアルアップやその他の通信手段等の通信パスでもかまわない)。システム1201は、典型的には、プリンタやその他の標準的な周辺装置等、その他周辺出力装置を含む。
【0088】
例えば、ビデオアダプタ1235は、マイクロソフトのDirect7.0、又はその他のバージョン等の標準3Dグラフィックスアプリケーションプログラマインタフェースに基づいて送出される3Dグラフィックスコマンドに応答して、高速3Dグラフィックスレンダリングを行う3Dグラフィックスパイプラインチップを含んでいてもよい。ステレオスピーカ1237のセットは、バス1207からのサウンドコマンドに基づいて、高品質な立体的サウンドを生成するためのハードウェア及び組み込みソフトウェアサポートを提供する、従来の「サウンドカード」のようなサウンド生成インタフェースを介して、システムバス1207に接続される。これらハードウェア機能により、システム1201が、記憶媒体62に格納されているソフトウェアをプレイするための、十分なグラフィックス及びサウンドスピード性能を提供する。
【0089】
以上、本発明を、最も実用的で好ましい実施形態であると現時点で判断される内容に関して説明してきたが、本発明は、開示された実施形態にのみ制限されるべきものではなく、反対に記載した請求項の範囲内において、様々に変更、及び同等な内容が適用されるものとする。
【図面の簡単な説明】
【図1】対話式コンピュータグラフィックスシステム例の全体図である。
【図2】図1に示すコンピュータグラフィックスシステム例を示すブロック図である。
【図3】図2に示すグラフィックス&オーディオプロセッサ例を示すブロック図である。
【図4】図3に示す3Dグラフィックスプロセッサ例を示すブロック図である。
【図5】図4のグラフィックス&オーディオプロセッサのロジカルフロー例を示す図である。
【図6】図3に示す、オーディオDSP156、オーディオメモリインタフェース158、及びオーディオインタフェース&ミキサ160のより詳細なブロック図である。
【図7】サウンド再生のための、データフロー及び制御フローをそれぞれ示す。
【図8】サウンド再生のための、データフロー及び制御フローをそれぞれ示す。
【図9】オーディオDSP156の処理ステップを示す。
【図10】図6に示すメモリコントローラ823の詳細なブロック図である
【図11】図6に示すオーディオメモリDMA825の詳細なブロック図である。
【図12】図6に示すDSP DMA819の詳細なブロック図である。
【図13】図6に示すアクセラレータ821の詳細なブロック図である。
【図14】別の互換的な実施例を示す図である。
【図15】別の互換的な実施例を示す図である。
Claims (26)
- ビデオゲームシステムであって、
オーディオデジタル信号プロセッサ、
メインメモリ、
メインメモリとは別個に備えられ、オーディオデジタル信号プロセッサによって処理されるオーディオ関連データを記憶するオーディオメモリ、
大容量記憶装置、及び
大容量記憶装置に記憶されるノンオーディオ関連データを読み出し、ノンオーディオ関連データをオーディオメモリに書き込み、その後オーディオメモリからノンオーディオ関連データを読み出し、メインメモリにノンオーディオ関連データを書き込むメモリアクセス回路を備える、ビデオゲームシステム。 - オーディオメモリは、内部及び拡張記憶素子を備えることを特徴とする、請求項1に記載のビデオゲームシステム。
- オーディオメモリは、SDRAMを備えることを特徴とする、請求項1に記載のビデオゲームシステム。
- ノンオーディオ関連データは、グラフィックスデータであることを特徴とする、請求項1に記載のビデオゲームシステム。
- ノンオーディオ関連データは、アニメーションデータであることを特徴とする、請求項1に記載のビデオゲームシステム。
- ノンオーディオ関連データは、圧縮グラフィックスデータであることを特徴とする、請求項1に記載のビデオゲームシステム。
- メモリアクセス回路とオーディオデジタル信号プロセッサとの間で、オーディオメモリへのアクセスを調停するためのオーディオメモリコントローラをさらに備えることを特徴とする、請求項1に記載のビデオゲームシステム。
- オーディオメモリコントローラは、メモリアクセス回路よりも、オーディオデジタル信号プロセッサに対して高いアクセス優先順位を与えることを特徴とする、請求項7に記載のビデオゲームシステム。
- オーディオメモリコントローラは、オーディオメモリリフレッシュサイクルを生成することを特徴とする、請求項7に記載のビデオゲームシステム。
- オーディオメモリコントローラは、リセット後のオーディオメモリを安定化させためのオーディオメモリ初期タイミングを発生させることを特徴とする、請求項7に記載のビデオゲームシステム。
- メモリアクセス回路は、
オーディオメモリから読み出される及びオーディオメモリに書き込まれるデータを記憶するバッファを含むことを特徴とする、請求項1に記載のビデオゲームシステム。 - メモリアクセス回路は、
第1のメモリアドレスを記憶する第1のメモリアドレスレジスタ、
第2のメモリアドレスを記憶する第2のメモリアドレスレジスタ、
ブロック長を記憶するブロック長レジスタ、及び
第1のメモリアドレスレジスタ、第2のメモリアドレスレジスタ、及びブロック長レジスタに記憶されるデータを変更するレジスタ切替回路を備えることを特徴とする、請求項1に記載のビデオゲームシステム。 - 第1のメモリアドレスレジスタは、メインメモリアドレスを記憶し、第2のメモリアドレスレジスタは、オーディオメモリアドレスを記憶することを特徴とする、請求項12に記載のビデオゲームシステム。
- メモリアクセス回路は、
割り込みを発生させるための制御ロジックを含むことを特徴とする、請求項1に記載のビデオゲームシステム。 - 大容量記憶装置は、DVDを備えることを特徴とする、請求項1に記載のビデオゲームシステム。
- ノンオーディオ関連データは、32バイト単位で読み出し及び書き込まれることを特徴とする、請求項1に記載のビデオゲームシステム。
- 大容量記憶装置に記憶されるノンオーディオ関連データへのアクセス方法であって、
オーディオメモリをメインメモリとは別個に備え、オーディオメモリ内にオーディオデジタル信号プロセッサによって処理されるオーディオ関連データを記憶し、
大容量記憶装置に記憶されるノンオーディオ関連データを読み出し、ノンオーディオ関連データをオーディオメモリに書き込み、
その後、オーディオメモリからノンオーディオ関連データを読み出し、メインメモリにノンオーディオ関連データを書き込む、アクセス方法。 - オーディオメモリは、内部及び拡張記憶素子を備えることを特徴とする、請求項17に記載のアクセス方法。
- オーディオメモリは、SDRAMを備えることを特徴とする、請求項17に記載のアクセス方法。
- ノンオーディオ関連データは、グラフィックスデータであることを特徴とする、請求項17に記載のアクセス方法。
- ノンオーディオ関連データは、アニメーションデータであることを特徴とする、請求項17に記載のアクセス方法。
- ノンオーディオ関連データは、圧縮グラフィックスデータであることを特徴とする、請求項17に記載のアクセス方法。
- 大容量記憶装置は、DVDを備えることを特徴とする、請求項17に記載のアクセス方法。
- ノンオーディオ関連データは、32バイト単位で読み出し及び書き込まれることを特徴とする、請求項17に記載のアクセス方法。
- ビデオゲーム装置であって、
オーディオデジタル信号プロセッサ、
メインメモリ、
メインメモリとは別個に備えられ、オーディオデジタル信号プロセッサによって処理されるオーディオ関連データを記憶するオーディオメモリ、
大容量記憶装置、及び
大容量記憶装置に記憶されるノンオーディオ関連データを読み出し、ノンオーディオ関連データをオーディオメモリに書き込み、その後オーディオメモリからノンオーディオ関連データを読み出し、メインメモリにノンオーディオ関連データを書き込むメモリアクセス回路を備える、ビデオゲーム装置。 - メインメモリを備えるビデオゲームシステムのコンピュータに実行させるためのゲームプログラムであって、
前記コンピュータを、
オーディオデジタル信号処理手段、及び
大容量記憶装置に記憶されるノンオーディオ関連データを読み出し、ノンオーディオ関連データを、メインメモリとは別個に備えられ、オーディオデジタル信号処理手段によって処理されるオーディオ関連データを記憶するオーディオメモリに書き込み、その後オーディオメモリからノンオーディオ関連データを読み出し、メインメモリにノンオーディオ関連データを書き込むメモリアクセス手段として機能させるためのゲームプログラム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US22689900P | 2000-08-23 | 2000-08-23 | |
| US60/226899 | 2000-08-23 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002245472A JP2002245472A (ja) | 2002-08-30 |
| JP4658397B2 true JP4658397B2 (ja) | 2011-03-23 |
Family
ID=22850890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001206705A Expired - Fee Related JP4658397B2 (ja) | 2000-08-23 | 2001-07-06 | オーディオメモリ内のデータを予めキャッシュする方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4658397B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1513157A1 (en) * | 2003-09-02 | 2005-03-09 | Deutsche Thomson-Brandt GmbH | Method for multibank memory scheduling |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2993455B2 (ja) * | 1997-03-10 | 1999-12-20 | 日本電気株式会社 | 画像と音声の再生装置 |
-
2001
- 2001-07-06 JP JP2001206705A patent/JP4658397B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002245472A (ja) | 2002-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5025849B2 (ja) | オーディオ信号をプリフェッチするための方法および装置 | |
| JP5149985B2 (ja) | 機能拡張型メモリコントローラを備えるグラフィックス処理システム | |
| AU785318B2 (en) | Method and apparatus for pre-caching data in audio memory | |
| JP4808858B2 (ja) | グラフィクスパイプラインおよびそれの同期化方法 | |
| JP4846120B2 (ja) | スケルトンアニメーションのステッチングハードウェアを有するグラフィクス装置 | |
| JP4680412B2 (ja) | 描画モードに基づいて隠面処理の順番を動的に再構成する方法および装置 | |
| JP4698893B2 (ja) | 改良されたフォグ効果を提供するための方法、グラフィックスシステム、およびプログラム | |
| JP4757406B2 (ja) | グラフィクスシステム | |
| JP4719363B2 (ja) | 内部フレームバッファと主メモリ間でのコピーアウト変換を有するグラフィクスシステム | |
| JP4691273B2 (ja) | グラフィクス処理システムおよびエンボス型バンプマッピングを行う方法 | |
| JP4570766B2 (ja) | 音声信号をミキシングするための方法および装置 | |
| JP2002074390A (ja) | 低価格のグラフィックスシステムにおけるシャドウマッピング | |
| JP2002063590A (ja) | グラフィクスシステム用再循環シェードツリーブレンダ | |
| JP2002063593A (ja) | グラフィクスシステムにおいて直接および間接テクスチャを処理するための方法および装置 | |
| JP4658397B2 (ja) | オーディオメモリ内のデータを予めキャッシュする方法及び装置 | |
| JP4683760B2 (ja) | 再構成可能なピクセルフォーマットを有する組み込みフレームバッファを有するグラフィックスシステム | |
| JP5020443B2 (ja) | 共有リソースへのアクセス方法及び装置 | |
| JP4740476B2 (ja) | グラフィックスシステム内におけるn個のアルファ演算の論理結合を提供する方法および装置 | |
| JP4740490B2 (ja) | グラフィックスレンダリングシステムにおいて視覚的に重要なz成分の精度を最大化しz近傍クリッピングを回避するためのz近傍範囲におけるz値のクランピング |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080627 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101007 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101012 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101117 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101203 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101224 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4658397 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |
