JP3532796B2 - 単一の外部記憶メモリを備えたマルチメディア復号化装置 - Google Patents
単一の外部記憶メモリを備えたマルチメディア復号化装置Info
- Publication number
- JP3532796B2 JP3532796B2 JP18699199A JP18699199A JP3532796B2 JP 3532796 B2 JP3532796 B2 JP 3532796B2 JP 18699199 A JP18699199 A JP 18699199A JP 18699199 A JP18699199 A JP 18699199A JP 3532796 B2 JP3532796 B2 JP 3532796B2
- Authority
- JP
- Japan
- Prior art keywords
- decoder
- memory
- decoding
- audio
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
でディジタル圧縮された画像・音声データを復号する復
号化装置に関し、特にディジタル圧縮された画像データ
とディジタル圧縮された音声データを同時に復号して表
示を行う半導体集積回路に関する。
半導体集積技術の進歩という背景から、従来別個の集積
回路で実現していたMPEG2ビデオデコーダに代表さ
れる映像の復号化器とAC-3デコーダやMPEGオー
デイオデコーダに代表される音声の復号化器が単一の半
導体集積回路に集積されつつある。低コストでビデオ・
オーデイオデコーダを実装するためには、ビデオデコー
ダとオーディオデコーダが単一の集積回路内に実装され
るばかりでなく、ビデオデコーダが使用するデータメモ
リとオーディオデコーダが使用するデータメモリが、物
理的に1つのメモリを共有するユニファイドメモリアー
キテクチャをとることが望ましい。
クセスに高いデータレートをが必要であることが一般的
に知られている。例として、図7に示されるようなNT
SC規格のMPEG2ビデオデコーダの要求メモリバン
ド幅の時間変動が図8に示されている。NTSC規格の
MPEG2MP@MLビデオデコーダにおいてメモリア
クセスを要求する処理は、ビットストリームの読み出し
・動き補償のための参照画像読み出し・復号画像の格納
・画像表示のための復号画像読み出しの4種類である。
が15Mbps、参照画像の読み出しが1フレーム期間
に4フィールド分の場合を仮定すると、それぞれのメモ
リアクセスに要するメモリバンド幅は、ビットストリー
ムの読み出しが毎秒約8MB、参照両像の読み出しが毎
秒約45MB、復号画像の格納が毎秒約16MB、画像
表示のための復号画像読み出しが毎秒約54MBとな
り、最大毎秒123Mバイトのメモリアクセスが必要と
なる。ただし、映像出力データフォーマットは一般に垂
直ブランキング期間と呼ばれる期間が存在し、この期間
にはデータは送出されない。
るCCIRR601と呼ばれる規格においては、垂直ブ
ランキング期間は16.7msに1回、約1.3ms継
続する。この期間においては、要求されるメモリアクセ
ス量はピークレートの50%程度である毎秒69Mバイ
ト程度に滅少する。
よっては高いレートのメモリアクセスを必要とする。例
として5.1チャネルMPEG2AACLCプロフアイ
ルデコーダについて考える。MPEG2AACデコーダ
は、サンブリングされたオーデイオ信号1024サンプ
ル分をひとまとめにして処理を行う。これをブロックと
呼ぶ。サンブリング周波数が48kHzの場合について
考えると、1ブロック分の期間は21msであるから、
1チャネルあたり3.5msから4.2ms程度の時間
で1チャネルの復号処理を終えなければならない。
略化したブロックダイアグラムの例が図9に示されてい
る。ここでは、MPEG2AACデコードの処理は図1
0に示されるような8KBのローカルメモリを持つプロ
セッサにより逐次的に行われるものと仮定する。ISO/IE
C JTCI/SC29/WG N2005“Revised Report on Complexity
of MPEG-2 AAC Tools″によれば、AACデコーダには
43.75KBのRAMと13.85103のROMが
必要である。ここでは、このうちのROMは内部ROM
34に格納され、4375KBのRAMは外部メモリに
格納されているものと仮定する。
モリとして使用されるとともに、外部メモリからプロセ
ッサへのデー夕転送の際のリードバッファ、およびプロ
セッサから外部メモリへのライトバッファとして使用さ
れる。
量の例を示す。入出力データのうち点線で囲まれたデー
タはローカルメモリ内に保持されるため、外部メモリと
のアクセスは行われない。この例の場合、一連の処理の
中でもっともメモリアクセス量が大きい処理がブロック
スイッチングである。この処理は、図12に示されるよ
うに、前段の処理であるフィルタバンクによって得られ
た2048サンプルの時系列データのうち、前半102
4サンプルと、ディレイバッファに保存されていた10
24サンプルの時系列データについて、ウインドウと呼
ばれる曲線にしたがって重み付け加算を行い、オーディ
オ出力バッファヘ出力する処理である。この処理に関し
ては毎秒約50MBのメモリバンド幅を必要とするが、
他の処理では毎秒1MB程度のメモリバンド幅があれば
十分である。
ダの動作は非同期である。先述したNTSCビデオデコ
ードとMPEG2AACデコードの組み合わせでも、ビ
デオ側は図8に示されるように16.7ms毎に要求メ
モリバンド幅が減少する期間が発生し、オーディオ側は
図13に示されるように3.5msから4.2ms毎に
高いメモリバンド幅を要求する。
チャをとるビデオ・オーディオデコーダのメモリバンド
幅は、図14に示されるように、ビデオデコーダの要求
メモリバンド幅のピーク値とオーデイオデコーダの要求
メモリバンド幅のピーク値を加算しただけのバンド幅を
用意する必要がある。先述の例では、このレートは毎秒
173MBになる。一般的には、オーディオ復号器とビ
デオ復号器の他に、それぞれにビットストリームを供給
するシステムデマルチプレクサが存在し、これにより外
部メモリヘビットストリームの書き込みが行われる。こ
れに要するメモリバンド幅を加えると、外部メモリに要
求されるメモリバンド幅は毎秒180MB程度になる。
ータレートを有する外部メモリを構成するためには、メ
モリデバイスの動作周波数を上げるか、並列にメモリデ
バイスを複数個並べることが必要となる。いずれの方法
にしても、デコーダ集積回路やメモリデバイスの回路量
が増加し、コストの上昇を招く。
を持つ同期型ダイナミックメモリ(シンクロナスDRA
M)をクロック周波数100MHzで駆動した場合、メ
モリアクセスに伴うオーバーへッドが15%程度存在す
ると仮定すると、そのメモリバンド幅は毎秒174MB
である。したがって、先述の毎秒180MBのメモリバ
ンド幅を実現するためには、メモリのバス幅を32ビッ
トにしなければならない。このバス幅を16ビットにす
ることができれば、集積回路のピン数が削減され、組み
立てコストの低下・信頼性の向上など得られるメリット
は大きい。
非同期であった2つの処理のうち、一方の要求データレ
ートが低い期間に他方の要求データレートが高い期間を
集中させるようにすることにより、ユニファイドメモリ
アーキテクチャにおいても不必要にデータレートを上げ
ず、1つの集積回路内でビデオlオーデイオデコード処
理を実現させるマルチメディア復号化装置を提供するこ
とを目的とする。
符号化された映像信号を復号する第1の復号器と、この
第1の復号器とは非同期に動作し、映像信号とは異なる
信号を復号する第2の復号器と、第1の復号器と第2の
復号器によってデータメモリとして使用される外部記憶
メモリと、この外部記憶メモリとデータの送受を行うメ
モリコントローラと、第1の復号器と第2の復号器とメ
モリコントローラとを接続するデータバスとを備え、第
2の復号器が行う一連の復号処理のうち、外部記憶メモ
リへのアクセスが大きい処理を独立させ、第1の復号器
が要求するメモリバンド幅が大きい期間には、第2の復
号器はメモリアクセスの少ない処理を集中して行い、第
1の復号器が要求するメモリバンド幅が小さい期間に第
2の復号器はメモリアクセスの大きな処理をまとめて行
うマルチメデイア復号化装置を提供する。
置は、ビデオデコーダが現在映像出力を行っているか、
ブランキング期間かをオーディオデコーダに通知する手
段と、オーディオデコーダの処理のうち、もっとも要求
メモリバンド幅の高い処理を独立させる手段と、ビデオ
デコーダがブランキング期間に入ったことをオーディオ
デコーダが通知されると、数ブロック分にわたって最も
要求メモリバンド幅の高い処理をまとめて行う手段とを
備えている。
デオデコーダとオーディオデコーダのデコード処理のう
ち、ビデオデコーダの要求メモリバンド幅が低くなるブ
ランキング期間と、オーデイオデコーダの要求メモリバ
ンド幅が高くなる期間とを同期させることができる。こ
のため、従来両者の最大要求メモリバンド幅の和で表現
された単一メモリのバンド幅を、一方の比較的低いメモ
リバンド幅と、他方の最大要求メモリバンド幅との和程
度に削減し、低コストにビデオデコーダとオーデイオデ
コーダを集積したユニファイドメモリァーキテクチャに
基づくビデオディオ復号化器を実現することが可能とな
る。
面を参照して説明する。
ルチメディア復号化装置によると、ビデオデコーダ13
はMPEG2ビデオ情報の復号処理を行う。このビデオ
デコーダ13が必要とする最大のメモリバンド幅は毎秒
約123MBである。MPEG2ビデオの復号において
は、復号しているピクチャの種類によって、必要となる
メモリバンド幅が異なる。
モリバンド幅の関係が示されている。これによると、I
ピクチャは参照画像の読み出しの必要がないため、必要
メモリバンド幅はBピクチャに比べ小さく、毎秒約80
MBとなる。Iピクチャは、一般的には0.5秒に1ピ
クチャ程度の頻度で送出される。
ル放送におけるEPG(電子番組ガイド)のように、そ
れほど厳密にリアルタイム性を要求されない静止画の復
号処理を行う。ビデオデコーダ13と静止画プロセッサ
12のメモリアクセスは、メモリコントローラ15を介
して行われる。メモリコントローラ15は、それぞれの
プロセッサ12,13がデータバス10を使用して外部
メモリ16へアクセスする際の調停を行う。今、静止画
プロセッサ12がJPEG(Joint Picture Coding Exp
ert Group)によって符号化された静止画を復号する場
合を考える。
示されている。これによると、まず、符号化ビットスト
リームはハフマンデコードされる(S11)。ハフマン
デコードされたビットストリームのDC係数はDPCM
デコードされる(S12)と共にAC係数はランレング
スデコードされる(S13)。ランレングスデコードに
より得られたAC係数はジグザグスキャンされる(S1
4)。DPCMデコードおよびジグザグスキャンにより
得られたDCT係数は逆量子化され(S15)、更に逆
DCTされて画像情報に再構成される。
くともビットストリームの読み出しおよび復号画像の書
き込みのために、外部メモリ16へのアクセスが生じ
る。
やIピクチャのデコードで参照画像の読み出しがないと
判断できる場合に、静止画プロセッサ12にメモリアク
セス許可を意味する信号を通信手段14を使用して送出
する。静止画プロセッサ12は、この信号を受け取る
と、JPEG復号に伴うメモリアクセスを開始する。
やIピクチャのデコードが終了した時点で、静止画プロ
セッサ12にメモリアクセス不許可を意味する信号を通
信手段14を使用して送出する。静止画プロセッサ12
は、この信号を受け取ると、JPEG復号に伴うメモリ
アクセスを中止する。
出しに伴うメモリバンド幅(毎秒45MB)が開放さ
れ、かつブランキング期間には復号画像表示のためのメ
モリバンド幅(毎秒54MB)が開放されるため、JP
EG復号のためには平均毎秒約6.9MBのメモリバン
ド幅が割り当てられることになる。静止画プロセッサ1
2内に十分なライトバッファおよびリードバッファが存
在すれば、静止画プロセッサ12はメモリアクセス待ち
なしに動作しつづけることができる。
メディア復号化装置のブロック図である。ビットストリ
ームがシステムデマルチブレクサ22に入力されると、
オーディオビットストリームとビデオビットストリーム
に分類され、それぞれ外部メモリ26の別々の領域に格
納される。格納されたビットストリームは、それぞれビ
デオデコーダ24およびオーディオデコーダ23に入力
される。ビデオデコーダでは第1の実施の形態と同様、
ビデオ情報の復号処理が行われ、復号されたビデオ情報
がビデオ出力される。復号の際には、復号した画像情報
を一時的に保存したり、過去に復号した画像を読み出し
たり、ビデオ出力に画像情報を送出したりするために合
計毎秒123MB程度のバンド幅を必要とする。また、
オーデイオデコーダでは、オーデイオ情報の復号処理が
行われ、オーデイオ信号が出力される。この要求レート
の最大値は毎秒50MBである。
ーダ24でビデオビットストリームが復号されると同時
に、図10に示すMPEG2AACデコーダで構成され
るオーディオデコーダ23ではMPEG2AACビット
ストリームの復号が開始される。ただし、このオーディ
オデコーダでは、図9に示されるMPEG2AACデコ
ーダの処理の流れにおけるハフマンデコードと逆量子化
とTNSとフィルタバンクの各処理のみが行われ、最後
のブロックスイッチングを行われない。しかし、フィル
タバンクまでに発生する途中結果は外部メモリ26に順
次格納される。この時の処理に伴う外部メモリとのメモ
リアクセスのバンド幅が図5に示されている。図10に
示されるMPEG2AACデコーダの8KBのローカル
RAMがライトバッファとして動作するため、フィルタ
バンクの出力である8KBの時間領域サンプル情報は、
次のハフマンデコードに要する処理時間程度の間に外部
メモリ26へ書き込めば良い。したがって、一連の処理
中に必要なメモリバンド幅は最大でも毎秒7.3MB程
度である。
ないブランキング期間になると、通信手段27を使用し
て、現在ブランキング期間中であることをオーデイオデ
コーダ23に通知する。オーディオデコーダ23は、ビ
デオデコーダからの通知を受信すると、現在行っている
デコード処理を一時的に休止し、これまで復号してきた
フイルタバンクの処理結果を用いて、溜まっていたブロ
ックスイッチング処理をまとめて行う。この処理は、係
数であるウインドウ2ワード(wl、w2)と2つのフ
イルタバンク出力ワード(F1、F2)から、out=
wlu+w2F2なる式によってオーディオ出力を求め
る処理である。このため、これらwl、w2、F1、F
2を順次読み出しながら処理を行うことにより、データ
メモリの消費は極めて小さくすることができる。よっ
て、ブランキング前に行っていた処理に伴うデータメモ
リを一時的に外部メモリ26に待避させる必要はない。
また、ブロックスイッチングの処理時間である0.2m
sの間に8KBのフイルタバンク出力データを読み込
み、2KBのオーデイオ出力を行うためには、毎秒50
MB程度のメモリバンド幅が必要である。すべてのブロ
ックスイッチング処理を終了すると、オーディオデコー
ダ3は休止していた処理を再開する。
ードを行った場合、ブランキング期間は16.7msに
1回発生する。オーディオデコーダ3は、1ブロックの
デコードを3.5ms程度の時間内に終えなければいけ
ないことから、1ブランキング期間に処理しなければな
らないブロックスイッチング処理の回数は最大5回とな
る。また、1ブロックのブロックスイッチングに要する
時間は0.2msであるから、オーディオデコーダ23
がビデオデコーダ24のブランキング期間に行うブロッ
クスイッチングの処理は、最大でも約Imsとなる。こ
れは、ブランキング期間の長さである1.3msよりも
短い。すなわちこれは、ビデオデコーダ24のブランキ
ング期間内に、オーディオデコードにおけるブロックス
イッチングの処理をすべて終了させることができること
を意味する。
中、ビデオデコーダが要求するメモリバンド幅の上限は
毎秒68MBである。この時のオーデイオデコーダのメ
モリバンド幅の上限は、毎秒50MBとなる。したがっ
て、この期間の両デコーダが要求するメモリバンド幅は
毎秒約118MBとなる。
ダが要求するメモリバンド幅の上限は、毎秒約123M
Bである。この時のオーディオデコーダのメモリバンド
幅の上限は毎秒7.3MBであるから、両者が要求する
メモリバンド幅の合計は毎秒約130.3MBになる。
即ち、図6に示されるように、本実施形態における外部
メモリのバンド幅は、図14に示した従来の場合のメモ
リバンド幅に対し、毎秒40MB程度必要メモリバンド
幅を削減することができる。
ユニファイドメモリアーキテクチャで構成されたマルチ
メディア復号化装置において、ビデオとオーデイオの復
号処理など本来非同期に動作2つの処理に着目し、一方
が最もメモリバンド幅を要求しない期間と、他方がメモ
リバンド幅を要求する期間とを同期して処理させること
により、従来両方の最大のメモリバンド幅の和で求めら
れていたユニフアイドメモリに必要なメモリバンド幅を
削減することが可能となる。
ク図
プと必要メモリバンド幅との関係を表す図
の処理順と必要メモリバンド幅
時間変化
幅の時間変化を示す図
図
ック図
スイッチングの処理を示すブロック図
ド幅
Claims (5)
- 【請求項1】 映像信号の復号、音声信号の復号、静止
画像復号、システム制御機能などのための単一のメモリ
を備えたマルチメディア復号化装置であって、 少なくとも符号化された映像信号を復号する第1の復号
器と、前記第1の復号器とは非同期に動作し、前記映像
信号とは異なる信号を復号する第2の復号器と、前記第
1の復号器と第2の復号器によってデータメモリとして
使用される外部記憶メモリと、前記外部記憶メモリとデ
ータの送受を行うメモリコントローラと、前記第1の復
号器と第2の復号器とメモリコントローラとを接続する
データバスとを備え、前記第2の復号器が行う一連の復
号処理のうち、前記外部記憶メモリへのアクセスが大き
い処理を独立させ、前記第1の復号器が要求するメモリ
バンド幅が大きい期間には、第2の復号器はメモリアク
セスの少ない処理を集中して行い、前記第1の復号器が
要求するメモリバンド幅が小さい期間、前記第2の復号
器はメモリアクセスの大きな処理をまとめて行うことを
特徴とするマルチメデイア復号化装置。 - 【請求項2】 前記第2の復号器は、ブランキング期間
においてブロックスイッチング処理をまとめて行うオー
ディオデコーダであることを特徴とする請求項1に記載
のマルチメデイア復号化装置。 - 【請求項3】 前記第2の復号器は、前記ブランキング
期間の終了に応答してハフマンデコードと逆量子化とT
NSとフィルタバンクの処理のみを行うオーディオデコ
ーダであることを特徴とする請求項2に記載のマルチメ
デイア復号化装置。 - 【請求項4】 映像信号の復号、音声信号の復号、シス
テム制御機能のための単一のメモリを備えたマルチメデ
ィア復号化装置であって、 少なくとも符号化された映像信号を復号するビデオ復号
器と、前記ビデオ復号器とは非同期に動作し、符号化さ
れた音声信号を復号するオーデイオ復号器と、前記ビデ
オ復号器と前記オーディオ復号器によってデータメモリ
として使用される外部記憶メモリと、前記外部記憶メモ
リとデータの送受を行うメモリコントローラと、前記ビ
デオ復号器とオーディオ復号器とメモリコントローラと
を接続するデータバスと、前記ビデオ復号器からオーデ
ィオ復号器へ情報を伝える手段を備え、前記オーディオ
復号器が行う一連の復号処理のうち、前記外部メモリへ
のアクセスが大きい処理を独立させ、前記ビデオ復号器
が映像信号を出力している間には、前記オーデイオ復号
器はメモリアクセスの少ない処理を集中して行い、前記
ビデオ復号器が映像信号を出力しないブランキング期間
に前記オーディオ復号器はメモリアクセスの大きな処理
をまとめて行うことを特徴とするマルチメデイア復号化
装置。 - 【請求項5】 前記オーデイオ復号器は、前記ブランキ
ング期間においてブロックスイッチング処理をまとめて
行うことを特徴とする請求項4に記載のマルチメデイア
復号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18699199A JP3532796B2 (ja) | 1999-06-30 | 1999-06-30 | 単一の外部記憶メモリを備えたマルチメディア復号化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18699199A JP3532796B2 (ja) | 1999-06-30 | 1999-06-30 | 単一の外部記憶メモリを備えたマルチメディア復号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001016113A JP2001016113A (ja) | 2001-01-19 |
JP3532796B2 true JP3532796B2 (ja) | 2004-05-31 |
Family
ID=16198302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP18699199A Expired - Lifetime JP3532796B2 (ja) | 1999-06-30 | 1999-06-30 | 単一の外部記憶メモリを備えたマルチメディア復号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3532796B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9189989B2 (en) | 2010-06-28 | 2015-11-17 | Panasonic Intellectual Property Management Co., Ltd. | Integrated circuit for use in plasma display panel, access control method, and plasma display system |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4727557B2 (ja) * | 2006-11-30 | 2011-07-20 | シャープ株式会社 | 復号装置および復号方法 |
-
1999
- 1999-06-30 JP JP18699199A patent/JP3532796B2/ja not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9189989B2 (en) | 2010-06-28 | 2015-11-17 | Panasonic Intellectual Property Management Co., Ltd. | Integrated circuit for use in plasma display panel, access control method, and plasma display system |
Also Published As
Publication number | Publication date |
---|---|
JP2001016113A (ja) | 2001-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5920353A (en) | Multi-standard decompression and/or compression device | |
US6028635A (en) | Reducing the memory required for decompression by storing compressed information using DCT based techniques | |
US7158571B2 (en) | System and method for balancing video encoding tasks between multiple processors | |
EP0843485B1 (en) | Video decoder with unified memory | |
US9172969B2 (en) | Local macroblock information buffer | |
US5818533A (en) | Method and apparatus for decoding B frames in video codecs with minimal memory | |
KR100375845B1 (ko) | 가변 레이트 mpeg2 비디오 신택스 프로세서 | |
US20040028142A1 (en) | Video decoding system | |
US5850258A (en) | High level video decoding apparatus capable of decoding video data of a plurality of channels coded at a lower level | |
US20060233261A1 (en) | Video encoding and video/audio/data multiplexing device | |
CN1805517B (zh) | 解码双视频信号的系统和方法 | |
JPH08265766A (ja) | デジタルビデオ減圧プロセッサ及びそのためのdramマッピング方法 | |
JPH10108117A (ja) | メモリインターフェースを共用するビデオ及び/又はオーディオ脱圧縮及び/又は圧縮装置 | |
JPH10145739A (ja) | メモリを共用するビデオ及び/又はオーディオ脱圧縮及び/又は圧縮装置 | |
US7609768B2 (en) | Video buffer control apparatus for dual video decoding and digital broadcasting receiver thereof | |
US8681862B2 (en) | Moving picture decoding apparatus and moving picture decoding method | |
US6720893B2 (en) | Programmable output control of compressed data from encoder | |
JP3532796B2 (ja) | 単一の外部記憶メモリを備えたマルチメディア復号化装置 | |
US5760847A (en) | Processing moving image data based on an arbitrarily designated frame | |
JP2002112268A (ja) | 圧縮画像データ復号装置 | |
US6996185B2 (en) | Image signal decoding apparatus | |
US6128340A (en) | Decoder system with 2.53 frame display buffer | |
EP1079632A1 (en) | Digital signal processing device and method, and providing medium | |
KR100252810B1 (ko) | 엠펙디코더 | |
KR19990024295A (ko) | 확장 가능한 메모리를 구비한 비디오 디코더 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20031126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20031209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040302 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040304 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080312 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090312 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100312 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100312 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110312 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120312 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 9 |