JPH11289536A - 動画像伸長装置及び方法 - Google Patents
動画像伸長装置及び方法Info
- Publication number
- JPH11289536A JPH11289536A JP8857098A JP8857098A JPH11289536A JP H11289536 A JPH11289536 A JP H11289536A JP 8857098 A JP8857098 A JP 8857098A JP 8857098 A JP8857098 A JP 8857098A JP H11289536 A JPH11289536 A JP H11289536A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- display device
- frame
- decompression
- cpu
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
- H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 デコードソフトウエアの処理速度の低下を防
ぐ動画像伸長装置及び方法を提供する。 【解決手段】 ＩピクチャまたはＰピクチャの伸長処理
する時に動き補償処理の直前に、そのフレームの直前の
ＩピクチャまたはＰピクチャ内において現在伸長中のマ
クロブロックと同じ位置にあるマクロブロックを表示装
置３に転送する手段（ステップＳ１０５、Ｓ１０６）
と、Ｂピクチャの伸長処理をする時に動き補償処理の後
で伸長したマクロブロックを表示装置３へ転送する手段
（ステップＳ１０７、Ｓ１０８、Ｓ１０９）を有する。
なお、本発明は、ＩピクチャまたはＰピクチャの伸長処
理をする時に、そのフレームの直前のＩピクチャまたは
Ｐピクチャ内の所定数のマクロブロックを表示装置に転
送した後にこれらと同数のマクロブロックに対する伸長
処理を行うという手順を全マクロブロックの伸長処理が
終了するまで繰り返す手段を有することで処理速度の低
下を防ぐものである。
ぐ動画像伸長装置及び方法を提供する。 【解決手段】 ＩピクチャまたはＰピクチャの伸長処理
する時に動き補償処理の直前に、そのフレームの直前の
ＩピクチャまたはＰピクチャ内において現在伸長中のマ
クロブロックと同じ位置にあるマクロブロックを表示装
置３に転送する手段（ステップＳ１０５、Ｓ１０６）
と、Ｂピクチャの伸長処理をする時に動き補償処理の後
で伸長したマクロブロックを表示装置３へ転送する手段
（ステップＳ１０７、Ｓ１０８、Ｓ１０９）を有する。
なお、本発明は、ＩピクチャまたはＰピクチャの伸長処
理をする時に、そのフレームの直前のＩピクチャまたは
Ｐピクチャ内の所定数のマクロブロックを表示装置に転
送した後にこれらと同数のマクロブロックに対する伸長
処理を行うという手順を全マクロブロックの伸長処理が
終了するまで繰り返す手段を有することで処理速度の低
下を防ぐものである。
Description
【０００１】
【発明の属する技術分野】本発明は、圧縮された動画像
データを伸長する動画像伸長装置及び方法に関し、特に
ソフトウエアで処理する場合にメモリアクセスを効率的
に行う動画像伸長装置及び方法に関する。
データを伸長する動画像伸長装置及び方法に関し、特に
ソフトウエアで処理する場合にメモリアクセスを効率的
に行う動画像伸長装置及び方法に関する。
【０００２】
【従来の技術】高品質な動画像データを蓄積または通信
したりするための圧縮および伸長方式としてＭＰＥＧ(M
oving Picture coding Experts Group) と呼ばれる国際
標準方式が定められている。ＭＰＥＧの規格に準拠して
圧縮された動画像データをリアルタイムで伸長するため
には膨大な計算量を必要とするため、従来は特別に設計
されたハードウエアが用いられていた。しかし、最近の
マイクロプロセッサの高性能化により、特別なハードウ
エアを備えていない通常のマイクロプロセッサのソフト
ウエアだけで実現することが可能となりつつある。
したりするための圧縮および伸長方式としてＭＰＥＧ(M
oving Picture coding Experts Group) と呼ばれる国際
標準方式が定められている。ＭＰＥＧの規格に準拠して
圧縮された動画像データをリアルタイムで伸長するため
には膨大な計算量を必要とするため、従来は特別に設計
されたハードウエアが用いられていた。しかし、最近の
マイクロプロセッサの高性能化により、特別なハードウ
エアを備えていない通常のマイクロプロセッサのソフト
ウエアだけで実現することが可能となりつつある。
【０００３】ＭＰＥＧの圧縮および伸長アルゴリズムに
ついては、例えば「１９９１年４月、コミュニケーショ
ンズ・オブ・ザ・エーシーエム、第３４巻、第４号(Com
munications of the ACM, Vol. 34, No. 4, April, 199
1)」に詳しく述べられている。ＭＰＥＧの伸長アルゴリ
ズムは、おおまかに可変長符号の復号処理と、逆量子化
処理と、逆離散コサイン変換処理と、動き補償処理とか
らなる。このうち、動き補償処理は、動画像の時間的冗
長性を利用したもので前に伸長されたフレームから画像
の一部を切り出してきて画像を復元する処理である。切
り出す画像の位置は、動きベクトルと呼ばれるパラメー
タによって決定される。切り出されて復元される画像
は、縦が１６画素からなり横が１６画素からなるマクロ
ブロックと呼ばれる正方形の領域で、各画素の値は８ビ
ットで表現されている。
ついては、例えば「１９９１年４月、コミュニケーショ
ンズ・オブ・ザ・エーシーエム、第３４巻、第４号(Com
munications of the ACM, Vol. 34, No. 4, April, 199
1)」に詳しく述べられている。ＭＰＥＧの伸長アルゴリ
ズムは、おおまかに可変長符号の復号処理と、逆量子化
処理と、逆離散コサイン変換処理と、動き補償処理とか
らなる。このうち、動き補償処理は、動画像の時間的冗
長性を利用したもので前に伸長されたフレームから画像
の一部を切り出してきて画像を復元する処理である。切
り出す画像の位置は、動きベクトルと呼ばれるパラメー
タによって決定される。切り出されて復元される画像
は、縦が１６画素からなり横が１６画素からなるマクロ
ブロックと呼ばれる正方形の領域で、各画素の値は８ビ
ットで表現されている。
【０００４】従来の動画像伸長装置として図４に示すよ
うなものが知られている。この従来の動画像伸長装置
は、ＣＰＵ３０１と、内部メモリ装置３０２と、表示装
置３０３と、外部メモリ装置３０４と、キャッシュメモ
リ装置３０５と、を有している。ＭＰＥＧで圧縮された
ビットストリームは、外部メモリ装置３０４に蓄えられ
る。ビットストリームは外部メモリ装置３０４から読み
出され、内部メモリ装置３０２に一時的に格納される。
内部メモリ装置３０２に格納されたビットストリーム
は、ＣＰＵ３０１上で動作するデコードソフトウエアの
働きにより伸長され、その結果として画像データが内部
メモリ装置３０２に格納される。内部メモリ装置３０２
に格納された画像データは、ＣＰＵ３０１上のソフトウ
エアにより表示用フォーマットに変換され、表示装置３
０３に転送される。
うなものが知られている。この従来の動画像伸長装置
は、ＣＰＵ３０１と、内部メモリ装置３０２と、表示装
置３０３と、外部メモリ装置３０４と、キャッシュメモ
リ装置３０５と、を有している。ＭＰＥＧで圧縮された
ビットストリームは、外部メモリ装置３０４に蓄えられ
る。ビットストリームは外部メモリ装置３０４から読み
出され、内部メモリ装置３０２に一時的に格納される。
内部メモリ装置３０２に格納されたビットストリーム
は、ＣＰＵ３０１上で動作するデコードソフトウエアの
働きにより伸長され、その結果として画像データが内部
メモリ装置３０２に格納される。内部メモリ装置３０２
に格納された画像データは、ＣＰＵ３０１上のソフトウ
エアにより表示用フォーマットに変換され、表示装置３
０３に転送される。
【０００５】図５は、ＭＰＥＧで圧縮および伸長をおこ
なう際における画像フレームの順序を示すものである。
ＭＰＥＧは、１フレームの画像を符号化するためのピク
チャとして、Ｉピクチャ、ＰピクチャおよびＢピクチャ
という３種類のピクチャを有している。Ｉピクチャは、
動き補償処理を行わずに、そのフレーム内の情報だけを
用いて圧縮するピクチャである。Ｐピクチャは、そのフ
レームよりも過去のフレームの画像情報から予測するこ
とにより動き補償処理を行うピクチャである。Ｂピクチ
ャは、そのフレームよりも過去のフレームと未来のフレ
ームの両方の画像情報から双方向の予測をすることによ
り動き補償処理を行うピクチャである。
なう際における画像フレームの順序を示すものである。
ＭＰＥＧは、１フレームの画像を符号化するためのピク
チャとして、Ｉピクチャ、ＰピクチャおよびＢピクチャ
という３種類のピクチャを有している。Ｉピクチャは、
動き補償処理を行わずに、そのフレーム内の情報だけを
用いて圧縮するピクチャである。Ｐピクチャは、そのフ
レームよりも過去のフレームの画像情報から予測するこ
とにより動き補償処理を行うピクチャである。Ｂピクチ
ャは、そのフレームよりも過去のフレームと未来のフレ
ームの両方の画像情報から双方向の予測をすることによ
り動き補償処理を行うピクチャである。
【０００６】図５（Ａ）は、ＭＰＥＧで動画像を圧縮す
る際における典型的なピクチャタイプの割り当てを示す
ものである。フレーム＃１は、Ｉピクチャで他のフレー
ムを参照せずに圧縮される。フレーム＃２は、Ｂピクチ
ャでフレーム＃１とフレーム＃３を用いた双方向の動き
予測処理により圧縮される。フレーム＃３は、Ｐピクチ
ャでフレーム＃１を用いた動き予測処理により圧縮され
る。フレーム＃４は、Ｂピクチャでフレーム＃３とフレ
ーム＃５を用いた双方向の動き予測処理により圧縮され
る。フレーム＃５は、Ｐピクチャでフレーム＃３を用い
た動き予測処理により圧縮される。フレーム＃６は、Ｂ
ピクチャでフレーム＃５とフレーム＃７を用いた双方向
の動き予測処理により圧縮される。フレーム＃７は、Ｐ
ピクチャでフレーム＃５を用いた動き予測処理により圧
縮される。点線の矢印はフレーム間の参照関係を表して
いる。
る際における典型的なピクチャタイプの割り当てを示す
ものである。フレーム＃１は、Ｉピクチャで他のフレー
ムを参照せずに圧縮される。フレーム＃２は、Ｂピクチ
ャでフレーム＃１とフレーム＃３を用いた双方向の動き
予測処理により圧縮される。フレーム＃３は、Ｐピクチ
ャでフレーム＃１を用いた動き予測処理により圧縮され
る。フレーム＃４は、Ｂピクチャでフレーム＃３とフレ
ーム＃５を用いた双方向の動き予測処理により圧縮され
る。フレーム＃５は、Ｐピクチャでフレーム＃３を用い
た動き予測処理により圧縮される。フレーム＃６は、Ｂ
ピクチャでフレーム＃５とフレーム＃７を用いた双方向
の動き予測処理により圧縮される。フレーム＃７は、Ｐ
ピクチャでフレーム＃５を用いた動き予測処理により圧
縮される。点線の矢印はフレーム間の参照関係を表して
いる。
【０００７】図５（Ｂ）は、上述したピクチャタイプに
従って圧縮および伸長を行う場合における各フレームの
処理順序を示すものである。圧縮する際には、まずフレ
ーム＃１が圧縮され、フレーム＃１の画像を参照してフ
レーム＃３が圧縮される。フレーム＃１とフレーム＃３
の画像を参照してフレーム＃２が圧縮される。フレーム
＃３の画像を参照してフレーム＃５が圧縮される。フレ
ーム＃３とフレーム＃５の画像を参照してフレーム＃４
が圧縮される。フレーム＃５の画像を参照してフレーム
＃７が圧縮される。フレーム＃５とフレーム＃７の画像
を参照してフレーム＃６が圧縮される。圧縮した画像を
記述するＭＰＥＧビットストリームには、フレームを圧
縮した順番に各フレームの情報が記述されている。すな
わち、元々の動画像のフレームの順序とは異っている。
従って圧縮および伸長を行う場合における各フレームの
処理順序を示すものである。圧縮する際には、まずフレ
ーム＃１が圧縮され、フレーム＃１の画像を参照してフ
レーム＃３が圧縮される。フレーム＃１とフレーム＃３
の画像を参照してフレーム＃２が圧縮される。フレーム
＃３の画像を参照してフレーム＃５が圧縮される。フレ
ーム＃３とフレーム＃５の画像を参照してフレーム＃４
が圧縮される。フレーム＃５の画像を参照してフレーム
＃７が圧縮される。フレーム＃５とフレーム＃７の画像
を参照してフレーム＃６が圧縮される。圧縮した画像を
記述するＭＰＥＧビットストリームには、フレームを圧
縮した順番に各フレームの情報が記述されている。すな
わち、元々の動画像のフレームの順序とは異っている。
【０００８】このようにして圧縮されたＭＰＥＧビット
ストリームを伸長する際には、まずフレーム＃１が伸長
される。伸長されたフレーム＃１の画像を参照してフレ
ーム＃３が伸長される。伸長されたフレーム＃１とフレ
ーム＃３の画像を参照してフレーム＃２が伸長される。
伸長されたフレーム＃３の画像を参照してフレーム＃５
が伸長される。伸長されたフレーム＃３とフレーム＃５
の画像を参照してフレーム＃４が伸長される。伸長され
たフレーム＃５の画像を参照してフレーム＃７が伸長さ
れる。伸長されたフレーム＃５とフレーム＃７の画像を
参照してフレーム＃６が伸長される。
ストリームを伸長する際には、まずフレーム＃１が伸長
される。伸長されたフレーム＃１の画像を参照してフレ
ーム＃３が伸長される。伸長されたフレーム＃１とフレ
ーム＃３の画像を参照してフレーム＃２が伸長される。
伸長されたフレーム＃３の画像を参照してフレーム＃５
が伸長される。伸長されたフレーム＃３とフレーム＃５
の画像を参照してフレーム＃４が伸長される。伸長され
たフレーム＃５の画像を参照してフレーム＃７が伸長さ
れる。伸長されたフレーム＃５とフレーム＃７の画像を
参照してフレーム＃６が伸長される。
【０００９】図５（Ｃ）は、伸長した画像を表示するた
めの順序を示すものである。図４に示したような動画像
伸長装置で伸長と表示を行う場合には、伸長した各フレ
ームを並べ替えながら表示する必要があるために、次の
ような手順で伸長と表示が行われる。すなわち、最初に
フレーム＃１を伸長した後は何も表示しない。フレーム
＃３を伸長した後でフレーム＃１の表示処理を行う。フ
レーム＃２を伸長した後でフレーム＃２の表示処理を行
う。フレーム＃５を伸長した後でフレーム＃３の表示処
理を行う。以下、図に示した通りの手順である。この手
順は、ＩピクチャまたはＰピクチャの伸長を行った場合
に、そのフレームの直前のＩピクチャまたはＰピクチャ
の表示処理を続けて実行し、Ｂピクチャの伸長を行った
場合に、そのフレームの表示処理を実行すると定式化さ
れる。
めの順序を示すものである。図４に示したような動画像
伸長装置で伸長と表示を行う場合には、伸長した各フレ
ームを並べ替えながら表示する必要があるために、次の
ような手順で伸長と表示が行われる。すなわち、最初に
フレーム＃１を伸長した後は何も表示しない。フレーム
＃３を伸長した後でフレーム＃１の表示処理を行う。フ
レーム＃２を伸長した後でフレーム＃２の表示処理を行
う。フレーム＃５を伸長した後でフレーム＃３の表示処
理を行う。以下、図に示した通りの手順である。この手
順は、ＩピクチャまたはＰピクチャの伸長を行った場合
に、そのフレームの直前のＩピクチャまたはＰピクチャ
の表示処理を続けて実行し、Ｂピクチャの伸長を行った
場合に、そのフレームの表示処理を実行すると定式化さ
れる。
【００１０】デコードソフトウエアの動作を図６のフロ
ーチャートを参照して説明する。１フレームの伸長処理
をする時には、フレームデコード開始と判断されると
（ステップＳ４０１）、１マクロブロックごとに可変長
符号復号と（ステップＳ４０２）、逆量子化と（ステッ
プＳ４０３）、逆ＤＣＴと（ステップＳ４０４）、動き
補償と（ステップＳ４０５）、が繰り返される。１フレ
ームの最後のマクロブロックを処理したら（ステップＳ
４０６）、１フレームの伸長処理が終了となる（ステッ
プＳ４０７）。その後、上記の表示手順にしたがって、
１フレームの画像データが表示装置３０３に転送される
（ステップＳ４０８）。
ーチャートを参照して説明する。１フレームの伸長処理
をする時には、フレームデコード開始と判断されると
（ステップＳ４０１）、１マクロブロックごとに可変長
符号復号と（ステップＳ４０２）、逆量子化と（ステッ
プＳ４０３）、逆ＤＣＴと（ステップＳ４０４）、動き
補償と（ステップＳ４０５）、が繰り返される。１フレ
ームの最後のマクロブロックを処理したら（ステップＳ
４０６）、１フレームの伸長処理が終了となる（ステッ
プＳ４０７）。その後、上記の表示手順にしたがって、
１フレームの画像データが表示装置３０３に転送される
（ステップＳ４０８）。
【００１１】図４に示すような動画像伸長装置における
ＣＰＵ３０１には、キャッシュメモリ装置３０５が内蔵
されている。キャッシュメモリ装置３０５は、内部メモ
リ装置３０２に比べて容量が小さく高速でアクセスでき
るメモリ装置である。ＣＰＵ３０１は、最近アクセスし
た内部メモリ装置３０２の内容をキャッシュメモリ装置
３０５に蓄え、アクセスしてから長時間アクセスのない
内容をキャッシュメモリ装置３０５から追い出し、内部
メモリ装置３０２に書き戻すように制御している。すな
わち、ＣＰＵ３０１は、一度アクセスした内容をその後
すぐにアクセスする限りにおいてはキャッシュメモリ装
置３０５に内容が残っているのでＣＰＵ３０１のマシン
サイクル以内にアクセスすることができる。このことを
キャッシュヒットと呼ぶ。しかし、ＣＰＵ３０１は、ま
だ一度もアクセスしていない内容または一度アクセスし
てから長時間アクセスしなかったためにキャッシュメモ
リ装置３０５に蓄えられていない内部メモリ装置３０２
の内容をアクセスする場合、ＣＰＵのマシンサイクルの
数倍から数十倍の時間がかかる。このことをキャッシュ
ミスと呼ぶ。
ＣＰＵ３０１には、キャッシュメモリ装置３０５が内蔵
されている。キャッシュメモリ装置３０５は、内部メモ
リ装置３０２に比べて容量が小さく高速でアクセスでき
るメモリ装置である。ＣＰＵ３０１は、最近アクセスし
た内部メモリ装置３０２の内容をキャッシュメモリ装置
３０５に蓄え、アクセスしてから長時間アクセスのない
内容をキャッシュメモリ装置３０５から追い出し、内部
メモリ装置３０２に書き戻すように制御している。すな
わち、ＣＰＵ３０１は、一度アクセスした内容をその後
すぐにアクセスする限りにおいてはキャッシュメモリ装
置３０５に内容が残っているのでＣＰＵ３０１のマシン
サイクル以内にアクセスすることができる。このことを
キャッシュヒットと呼ぶ。しかし、ＣＰＵ３０１は、ま
だ一度もアクセスしていない内容または一度アクセスし
てから長時間アクセスしなかったためにキャッシュメモ
リ装置３０５に蓄えられていない内部メモリ装置３０２
の内容をアクセスする場合、ＣＰＵのマシンサイクルの
数倍から数十倍の時間がかかる。このことをキャッシュ
ミスと呼ぶ。
【００１２】一般的なマイクロプロセッサでは、キャッ
シュミスによりデータのアクセスを待っている間、プロ
セッサ全体の動作が止まってしまうため、ソフトウエア
の速度を向上させるためにはキャッシュメモリ装置を有
効に使えるようにすることが重要である。現時点でのマ
イクロプロセッサでは、内蔵されているキャッシュメモ
リ装置の容量は最大数十キロバイトである。システムの
構成によっては、ＣＰＵ３０１の外側に二次キャッシュ
メモリ装置と呼ばれるキャッシュメモリ装置３０５より
も大容量のキャッシュメモリ装置を配置する場合もあ
る。二次キャッシュメモリ装置の容量は現時点では最大
数百キロバイトである。一方、ＭＰＥＧで扱われる画像
の１フレームの容量は、画面サイズによって数十キロバ
イトから数メガバイトまで考えられる。ＭＰＥＧ２メイ
ンプロファイル・メインレベルと呼ばれる現在最も汎用
的に用いられている規格の場合は、１フレームが数百キ
ロバイトとなるので、この場合には二次キャッシュ装置
には最大でも１フレームの画像しか格納することができ
ない。
シュミスによりデータのアクセスを待っている間、プロ
セッサ全体の動作が止まってしまうため、ソフトウエア
の速度を向上させるためにはキャッシュメモリ装置を有
効に使えるようにすることが重要である。現時点でのマ
イクロプロセッサでは、内蔵されているキャッシュメモ
リ装置の容量は最大数十キロバイトである。システムの
構成によっては、ＣＰＵ３０１の外側に二次キャッシュ
メモリ装置と呼ばれるキャッシュメモリ装置３０５より
も大容量のキャッシュメモリ装置を配置する場合もあ
る。二次キャッシュメモリ装置の容量は現時点では最大
数百キロバイトである。一方、ＭＰＥＧで扱われる画像
の１フレームの容量は、画面サイズによって数十キロバ
イトから数メガバイトまで考えられる。ＭＰＥＧ２メイ
ンプロファイル・メインレベルと呼ばれる現在最も汎用
的に用いられている規格の場合は、１フレームが数百キ
ロバイトとなるので、この場合には二次キャッシュ装置
には最大でも１フレームの画像しか格納することができ
ない。
【００１３】
【発明が解決しようとする課題】従来の動画像伸長装置
でＭＰＥＧ２メインプロファイル・メインレベルの伸長
を行なうときのキャッシュメモリ装置３０５の動作を説
明する。例えば、図５（Ｂ）のフレーム＃３を伸長して
からフレーム＃１を表示装置３０３に転送する際の一連
の動作について考察すると、フレーム＃３の伸長処理の
うち動き補償処理においてフレーム＃１を参照するため
に、伸長されたフレーム＃３の画像と合わせて２フレー
ム分の画像にアクセスする必要がある。キャッシュメモ
リ装置３０５には２フレーム分の画像は格納できないた
め、フレーム＃３の伸長処理が終了した段階では、キャ
ッシュメモリ装置３０５にはフレーム＃１とフレーム＃
３の一部だけが格納されている。ここで、ＭＰＥＧ伸長
アルゴリズムは画面の右から左へ下方に向かって処理し
ていくため、多くの場合に参照するフレームも上端から
下端に向けてアクセスされる。従って、伸長の処理が進
むにつれて画面の上端に近い部分のデータがキャッシュ
メモリ装置３０５から追い出されていき、最終的には下
端に近い部分のデータだけがキャッシュメモリ装置３０
５に残ることになる。引き続いてフレーム＃１を表示装
置３０３に転送する処理において、フレーム＃１の画像
データを画面の上端から順々にアクセスすることになる
が、上端に近い部分のデータにアクセスしているときに
は、キャッシュメモリ装置３０５にはフレーム＃１の下
端に近い部分のデータしか残っていないため、全てのア
クセスがキャッシュミスを引き起こす。また、上端に近
い部分のアクセスをしている段階でキャッシュメモリ装
置３０５に残っていた下端に近い部分のデータが追い出
されるため、全てのアクセスがキャッシュミスを引き起
こすという問題がある。
でＭＰＥＧ２メインプロファイル・メインレベルの伸長
を行なうときのキャッシュメモリ装置３０５の動作を説
明する。例えば、図５（Ｂ）のフレーム＃３を伸長して
からフレーム＃１を表示装置３０３に転送する際の一連
の動作について考察すると、フレーム＃３の伸長処理の
うち動き補償処理においてフレーム＃１を参照するため
に、伸長されたフレーム＃３の画像と合わせて２フレー
ム分の画像にアクセスする必要がある。キャッシュメモ
リ装置３０５には２フレーム分の画像は格納できないた
め、フレーム＃３の伸長処理が終了した段階では、キャ
ッシュメモリ装置３０５にはフレーム＃１とフレーム＃
３の一部だけが格納されている。ここで、ＭＰＥＧ伸長
アルゴリズムは画面の右から左へ下方に向かって処理し
ていくため、多くの場合に参照するフレームも上端から
下端に向けてアクセスされる。従って、伸長の処理が進
むにつれて画面の上端に近い部分のデータがキャッシュ
メモリ装置３０５から追い出されていき、最終的には下
端に近い部分のデータだけがキャッシュメモリ装置３０
５に残ることになる。引き続いてフレーム＃１を表示装
置３０３に転送する処理において、フレーム＃１の画像
データを画面の上端から順々にアクセスすることになる
が、上端に近い部分のデータにアクセスしているときに
は、キャッシュメモリ装置３０５にはフレーム＃１の下
端に近い部分のデータしか残っていないため、全てのア
クセスがキャッシュミスを引き起こす。また、上端に近
い部分のアクセスをしている段階でキャッシュメモリ装
置３０５に残っていた下端に近い部分のデータが追い出
されるため、全てのアクセスがキャッシュミスを引き起
こすという問題がある。
【００１４】次に、図５（Ｂ）のフレーム＃２を伸長し
てからフレーム＃２を表示装置３０３に転送する一連の
動作について考察する。フレーム＃２の伸長処理のうち
動き補償においてフレーム＃１とフレーム＃３を参照す
るため、計３フレーム分の画像にアクセスすることにな
る。フレーム＃２の伸長処理を開始する時点では、上記
の説明により、フレーム＃１の下端に近いデータだけが
キャッシュメモリ装置３０５に残っている。フレーム＃
１とフレーム＃３とフレーム＃２の画像は、共に上端か
ら下端に向けてアクセスされるため、伸長処理における
全てのアクセスがキャッシュミスを引き起こす。フレー
ム＃２の伸長処理が終了した段階では、フレーム＃１と
フレーム＃３とフレーム＃２の画像の下端に近い部分の
データだけがキャッシュメモリ装置３０５に残ってい
る。引き続いてフレーム＃３を表示装置３０３に転送す
る処理において、フレーム＃３の画像データを上端から
順々にアクセスすることになるが、ここでもフレーム＃
１の表示装置３０３への転送処理と同様に全てのアクセ
スがキャッシュミスを引き起こすという問題がある。
てからフレーム＃２を表示装置３０３に転送する一連の
動作について考察する。フレーム＃２の伸長処理のうち
動き補償においてフレーム＃１とフレーム＃３を参照す
るため、計３フレーム分の画像にアクセスすることにな
る。フレーム＃２の伸長処理を開始する時点では、上記
の説明により、フレーム＃１の下端に近いデータだけが
キャッシュメモリ装置３０５に残っている。フレーム＃
１とフレーム＃３とフレーム＃２の画像は、共に上端か
ら下端に向けてアクセスされるため、伸長処理における
全てのアクセスがキャッシュミスを引き起こす。フレー
ム＃２の伸長処理が終了した段階では、フレーム＃１と
フレーム＃３とフレーム＃２の画像の下端に近い部分の
データだけがキャッシュメモリ装置３０５に残ってい
る。引き続いてフレーム＃３を表示装置３０３に転送す
る処理において、フレーム＃３の画像データを上端から
順々にアクセスすることになるが、ここでもフレーム＃
１の表示装置３０３への転送処理と同様に全てのアクセ
スがキャッシュミスを引き起こすという問題がある。
【００１５】このように従来の動画像伸長装置では、伸
長されたフレームを並べ替えて表示するために、伸長し
た画像データを一度内部メモリ装置３０２に格納し、そ
のフレームを表示する順番が来たときに内部メモリ装置
３０２からＣＰＵ３０１を介して表示装置３０３へ転送
している。そのため、従来の動画像伸長装置では、動き
補償処理と表示装置への転送処理においてキャッシュミ
スが多発し、デコードソフトウエアの処理速度が低下す
るという問題がある。
長されたフレームを並べ替えて表示するために、伸長し
た画像データを一度内部メモリ装置３０２に格納し、そ
のフレームを表示する順番が来たときに内部メモリ装置
３０２からＣＰＵ３０１を介して表示装置３０３へ転送
している。そのため、従来の動画像伸長装置では、動き
補償処理と表示装置への転送処理においてキャッシュミ
スが多発し、デコードソフトウエアの処理速度が低下す
るという問題がある。
【００１６】本発明の目的は、動き補償処理と表示装置
への転送処理におけるキャッシュミスを抑制し、デコー
ドソフトウエアの処理速度の低下を防ぐことができる動
画像伸長装置及び方法を提供することにある。
への転送処理におけるキャッシュミスを抑制し、デコー
ドソフトウエアの処理速度の低下を防ぐことができる動
画像伸長装置及び方法を提供することにある。
【００１７】
【課題を解決するための手段】前記課題を解決するため
に、本発明の第１のものは、ＣＰＵとメモリ装置と表示
装置とＣＰＵで動作するデコードソフトウエアとを有す
る動画像伸長装置において、ＩピクチャまたはＰピクチ
ャの伸長処理をする時に動き補償処理の直前にそのフレ
ームの直前のＩピクチャまたはＰピクチャ内において現
在伸長中のマクロブロックと同じ位置にあるマクロブロ
ックを表示装置に転送する転送手段を有することを特徴
とする。
に、本発明の第１のものは、ＣＰＵとメモリ装置と表示
装置とＣＰＵで動作するデコードソフトウエアとを有す
る動画像伸長装置において、ＩピクチャまたはＰピクチ
ャの伸長処理をする時に動き補償処理の直前にそのフレ
ームの直前のＩピクチャまたはＰピクチャ内において現
在伸長中のマクロブロックと同じ位置にあるマクロブロ
ックを表示装置に転送する転送手段を有することを特徴
とする。
【００１８】本発明の第２のものは、ＣＰＵとメモリ装
置と表示装置とＣＰＵで動作するデコードソフトウエア
とを有する動画像伸長装置において、Ｂピクチャの伸長
処理をする時に動き補償処理の後で伸長したマクロブロ
ックを表示装置へ転送する転送手段を有することを特徴
とする。
置と表示装置とＣＰＵで動作するデコードソフトウエア
とを有する動画像伸長装置において、Ｂピクチャの伸長
処理をする時に動き補償処理の後で伸長したマクロブロ
ックを表示装置へ転送する転送手段を有することを特徴
とする。
【００１９】本発明の第３のものは、ＣＰＵとメモリ装
置と表示装置とＣＰＵで動作するデコードソフトウエア
とを有する動画像伸長装置において、Ｉピクチャまたは
Ｐピクチャの伸長処理をする時に動き補償処理の直前に
そのフレームの直前のＩピクチャまたはＰピクチャ内に
おいて現在伸長中のマクロブロックと同じ位置にあるマ
クロブロックを表示装置に転送する第１の転送手段と、
Ｂピクチャの伸長処理をする時に動き補償処理の後で伸
長したマクロブロックを表示装置へ転送する第２の転送
手段とを有することを特徴とする。
置と表示装置とＣＰＵで動作するデコードソフトウエア
とを有する動画像伸長装置において、Ｉピクチャまたは
Ｐピクチャの伸長処理をする時に動き補償処理の直前に
そのフレームの直前のＩピクチャまたはＰピクチャ内に
おいて現在伸長中のマクロブロックと同じ位置にあるマ
クロブロックを表示装置に転送する第１の転送手段と、
Ｂピクチャの伸長処理をする時に動き補償処理の後で伸
長したマクロブロックを表示装置へ転送する第２の転送
手段とを有することを特徴とする。
【００２０】本発明の第４のものは、ＣＰＵとメモリ装
置と表示装置とＣＰＵで動作するデコードソフトウエア
とを有する動画像伸長装置において、Ｉピクチャまたは
Ｐピクチャの伸長処理をする時に、そのフレームの直前
のＩピクチャまたはＰピクチャ内の所定数のマクロブロ
ックを表示装置に転送した後にこれらと同数のマクロブ
ロックに対する伸長処理を行うという手順を全マクロブ
ロックの伸長処理が終了するまで繰り返す繰り返し手段
を有することを特徴とする。
置と表示装置とＣＰＵで動作するデコードソフトウエア
とを有する動画像伸長装置において、Ｉピクチャまたは
Ｐピクチャの伸長処理をする時に、そのフレームの直前
のＩピクチャまたはＰピクチャ内の所定数のマクロブロ
ックを表示装置に転送した後にこれらと同数のマクロブ
ロックに対する伸長処理を行うという手順を全マクロブ
ロックの伸長処理が終了するまで繰り返す繰り返し手段
を有することを特徴とする。
【００２１】本発明の第５のものは、ＣＰＵとメモリ装
置と表示装置とＣＰＵで動作するデコードソフトウエア
とを有する動画像伸長装置において、Ｉピクチャまたは
Ｐピクチャの伸長処理をする時にそのフレームの直前の
ＩピクチャまたはＰピクチャ内の所定数のマクロブロッ
クを前記表示装置に転送した後にこれらと同数のマクロ
ブロックに対する伸長処理を行うという手順を全マクロ
ブロックの伸長処理が終了するまで繰り返す繰り返し手
段と、Ｂピクチャの伸長処理をする時に動き補償処理の
後で伸長したマクロブロックを表示装置へ転送する転送
手段とを有することを特徴とする。
置と表示装置とＣＰＵで動作するデコードソフトウエア
とを有する動画像伸長装置において、Ｉピクチャまたは
Ｐピクチャの伸長処理をする時にそのフレームの直前の
ＩピクチャまたはＰピクチャ内の所定数のマクロブロッ
クを前記表示装置に転送した後にこれらと同数のマクロ
ブロックに対する伸長処理を行うという手順を全マクロ
ブロックの伸長処理が終了するまで繰り返す繰り返し手
段と、Ｂピクチャの伸長処理をする時に動き補償処理の
後で伸長したマクロブロックを表示装置へ転送する転送
手段とを有することを特徴とする。
【００２２】本発明の第６のものは、ＣＰＵとメモリ装
置と表示装置とＣＰＵで動作するデコードソフトウエア
とを用いる動画像伸長方法において、Ｉピクチャまたは
Ｐピクチャの伸長処理をする時に動き補償処理の直前に
そのフレームの直前のＩピクチャまたはＰピクチャ内に
おいて現在伸長中のマクロブロックと同じ位置にあるマ
クロブロックを表示装置に転送するステップを有するこ
とを特徴とする。
置と表示装置とＣＰＵで動作するデコードソフトウエア
とを用いる動画像伸長方法において、Ｉピクチャまたは
Ｐピクチャの伸長処理をする時に動き補償処理の直前に
そのフレームの直前のＩピクチャまたはＰピクチャ内に
おいて現在伸長中のマクロブロックと同じ位置にあるマ
クロブロックを表示装置に転送するステップを有するこ
とを特徴とする。
【００２３】本発明の第７のものは、ＣＰＵとメモリ装
置と表示装置とＣＰＵで動作するデコードソフトウエア
とを用いる動画像伸長方法において、Ｂピクチャの伸長
処理をする時に動き補償処理の後で伸長したマクロブロ
ックを表示装置へ転送するステップを有することを特徴
とする。
置と表示装置とＣＰＵで動作するデコードソフトウエア
とを用いる動画像伸長方法において、Ｂピクチャの伸長
処理をする時に動き補償処理の後で伸長したマクロブロ
ックを表示装置へ転送するステップを有することを特徴
とする。
【００２４】本発明の第８のものは、ＣＰＵとメモリ装
置と表示装置とＣＰＵで動作するデコードソフトウエア
とを用いる動画像伸長方法において、Ｉピクチャまたは
Ｐピクチャの伸長処理をする時に動き補償処理の直前に
そのフレームの直前のＩピクチャまたはＰピクチャ内に
おいて現在伸長中のマクロブロックと同じ位置にあるマ
クロブロックを表示装置に転送する第１のステップと、
Ｂピクチャの伸長処理をする時に動き補償処理の後で伸
長したマクロブロックを表示装置へ転送する第２のステ
ップとを有することを特徴とする。
置と表示装置とＣＰＵで動作するデコードソフトウエア
とを用いる動画像伸長方法において、Ｉピクチャまたは
Ｐピクチャの伸長処理をする時に動き補償処理の直前に
そのフレームの直前のＩピクチャまたはＰピクチャ内に
おいて現在伸長中のマクロブロックと同じ位置にあるマ
クロブロックを表示装置に転送する第１のステップと、
Ｂピクチャの伸長処理をする時に動き補償処理の後で伸
長したマクロブロックを表示装置へ転送する第２のステ
ップとを有することを特徴とする。
【００２５】本発明の第９のものは、ＣＰＵとメモリ装
置と表示装置とＣＰＵで動作するデコードソフトウエア
とを用いる動画像伸長方法において、Ｉピクチャまたは
Ｐピクチャの伸長処理をする時にそのフレームの直前の
ＩピクチャまたはＰピクチャ内の所定数のマクロブロッ
クを表示装置に転送した後にこれらと同数のマクロブロ
ックに対する伸長処理を行うという手順を全マクロブロ
ックの伸長処理が終了するまで繰り返すステップを有す
ることを特徴とする。
置と表示装置とＣＰＵで動作するデコードソフトウエア
とを用いる動画像伸長方法において、Ｉピクチャまたは
Ｐピクチャの伸長処理をする時にそのフレームの直前の
ＩピクチャまたはＰピクチャ内の所定数のマクロブロッ
クを表示装置に転送した後にこれらと同数のマクロブロ
ックに対する伸長処理を行うという手順を全マクロブロ
ックの伸長処理が終了するまで繰り返すステップを有す
ることを特徴とする。
【００２６】本発明の第１０のものは、ＣＰＵとメモリ
装置と表示装置とＣＰＵで動作するデコードソフトウエ
アとを用いる動画像伸長方法において、Ｉピクチャまた
はＰピクチャの伸長処理をする時にそのフレームの直前
のＩピクチャまたはＰピクチャ内の所定数のマクロブロ
ックを表示装置に転送した後にこれらと同数のマクロブ
ロックに対する伸長処理を行うという手順を全マクロブ
ロックの伸長処理が終了するまで繰り返すステップと、
Ｂピクチャの伸長処理をする時に動き補償処理の後で伸
長したマクロブロックを表示装置へ転送するステップと
を有することを特徴とする。
装置と表示装置とＣＰＵで動作するデコードソフトウエ
アとを用いる動画像伸長方法において、Ｉピクチャまた
はＰピクチャの伸長処理をする時にそのフレームの直前
のＩピクチャまたはＰピクチャ内の所定数のマクロブロ
ックを表示装置に転送した後にこれらと同数のマクロブ
ロックに対する伸長処理を行うという手順を全マクロブ
ロックの伸長処理が終了するまで繰り返すステップと、
Ｂピクチャの伸長処理をする時に動き補償処理の後で伸
長したマクロブロックを表示装置へ転送するステップと
を有することを特徴とする。
【００２７】
【発明の実施の形態】次に、本発明の実施の形態を添付
図面に基づいて詳細に説明する。図１は、本発明の第１
の実施の形態としての動画像伸長装置を示すものであ
る。本発明の第１の実施の形態としての動画像伸長装置
は、ＣＰＵ１と内部メモリ装置２と表示装置３と外部メ
モリ装置４とキャッシュメモリ装置５とを有している。
ＣＰＵ１は、内部メモリ装置２と表示装置３と外部メモ
リ装置４とにバス６を介して接続されている。ＣＰＵ１
は、キャッシュメモリ装置５を内蔵し、また、デコード
ソフトウエアを記憶している。
図面に基づいて詳細に説明する。図１は、本発明の第１
の実施の形態としての動画像伸長装置を示すものであ
る。本発明の第１の実施の形態としての動画像伸長装置
は、ＣＰＵ１と内部メモリ装置２と表示装置３と外部メ
モリ装置４とキャッシュメモリ装置５とを有している。
ＣＰＵ１は、内部メモリ装置２と表示装置３と外部メモ
リ装置４とにバス６を介して接続されている。ＣＰＵ１
は、キャッシュメモリ装置５を内蔵し、また、デコード
ソフトウエアを記憶している。
【００２８】ＭＰＥＧで圧縮されたビットストリーム
は、外部メモリ装置４に蓄えられる。ビットストリーム
は外部メモリ装置４から読み出され、内部メモリ装置２
に一時的に格納される。内部メモリ装置２に格納された
ビットストリームはＣＰＵ１上で動作するデコードソフ
トウエアの働きにより伸長され、その結果として画像デ
ータが、伸長しているフレームのピクチャタイプによっ
て内部メモリ装置２に格納され、または表示用フォーマ
ットに変換されて表示装置３へ転送される。内部メモリ
装置２に格納された画像データは、そのフレームを表示
する順番になったら、ＣＰＵ１上のソフトウエアにより
表示用フォーマットに変換され、表示装置３に転送され
る。
は、外部メモリ装置４に蓄えられる。ビットストリーム
は外部メモリ装置４から読み出され、内部メモリ装置２
に一時的に格納される。内部メモリ装置２に格納された
ビットストリームはＣＰＵ１上で動作するデコードソフ
トウエアの働きにより伸長され、その結果として画像デ
ータが、伸長しているフレームのピクチャタイプによっ
て内部メモリ装置２に格納され、または表示用フォーマ
ットに変換されて表示装置３へ転送される。内部メモリ
装置２に格納された画像データは、そのフレームを表示
する順番になったら、ＣＰＵ１上のソフトウエアにより
表示用フォーマットに変換され、表示装置３に転送され
る。
【００２９】次に、本発明の第１の実施の形態としての
動画像伸長装置の動作を図１および図２を参照して説明
する。図２は、本発明の第１の実施の形態としての動画
像伸長装置の動作を示すフローチャートである。
動画像伸長装置の動作を図１および図２を参照して説明
する。図２は、本発明の第１の実施の形態としての動画
像伸長装置の動作を示すフローチャートである。
【００３０】１フレームの伸長処理をする時に、ＣＰＵ
１は、まずフレームデコード開始であるか否かを判断す
る（ステップＳ１０１）。ステップＳ１０１においてフ
レームデコード開始である時には、ＣＰＵ１は、マクロ
ブロックごとに可変長符号復号と（ステップＳ１０
２）、逆量子化と（ステップＳ１０３）、逆ＤＣＴと
（ステップＳ１０３）、を行なう。次に、ＣＰＵ１は現
在伸長しているフレームがＩピクチャまたはＰピクチャ
であるか否かを判断する（ステップＳ１０５）。ステッ
プＳ１０５において現在伸長しているフレームがＩピク
チャまたはＰピクチャである時には、その直前のＩピク
チャまたはＰピクチャ（参照フレーム）の１マクロブロ
ックを表示装置３に転送し（ステップＳ１０６）、その
後、動き補償を行う（スッテプＳ１０７）。また、ステ
ップＳ１０５において現在伸長しているフレームがＩピ
クチャまたはＰピクチャでない時には、ステップＳ１０
７で動き補償を行う。
１は、まずフレームデコード開始であるか否かを判断す
る（ステップＳ１０１）。ステップＳ１０１においてフ
レームデコード開始である時には、ＣＰＵ１は、マクロ
ブロックごとに可変長符号復号と（ステップＳ１０
２）、逆量子化と（ステップＳ１０３）、逆ＤＣＴと
（ステップＳ１０３）、を行なう。次に、ＣＰＵ１は現
在伸長しているフレームがＩピクチャまたはＰピクチャ
であるか否かを判断する（ステップＳ１０５）。ステッ
プＳ１０５において現在伸長しているフレームがＩピク
チャまたはＰピクチャである時には、その直前のＩピク
チャまたはＰピクチャ（参照フレーム）の１マクロブロ
ックを表示装置３に転送し（ステップＳ１０６）、その
後、動き補償を行う（スッテプＳ１０７）。また、ステ
ップＳ１０５において現在伸長しているフレームがＩピ
クチャまたはＰピクチャでない時には、ステップＳ１０
７で動き補償を行う。
【００３１】次に、ＣＰＵ１は現在伸長しているフレー
ムがＢピクチャであるか否かを判断する（ステップＳ１
０８）。ステップＳ１０８において現在伸長しているフ
レームがＢピクチャである時には、伸長したマクロブロ
ックを表示装置３に転送してから（ステップＳ１０
９）、ＣＰＵ１は１フレームの最後のマクロブロックで
あるか否かを判断する（ステップＳ１１０）。また、ス
テップＳ１０８において現在伸長しているフレームがＢ
ピクチャでない時にはステップＳ１１０に進む。ステッ
プＳ１１０において１フレームの最後のマクロブロック
でない時にはステップＳ１０２へ戻る。ステップＳ１１
０において１フレームの最後のマクロブロックである時
には、１フレームのフレームデコードを終了してステッ
プＳ１０１へ戻る（ステップＳ１１１）。
ムがＢピクチャであるか否かを判断する（ステップＳ１
０８）。ステップＳ１０８において現在伸長しているフ
レームがＢピクチャである時には、伸長したマクロブロ
ックを表示装置３に転送してから（ステップＳ１０
９）、ＣＰＵ１は１フレームの最後のマクロブロックで
あるか否かを判断する（ステップＳ１１０）。また、ス
テップＳ１０８において現在伸長しているフレームがＢ
ピクチャでない時にはステップＳ１１０に進む。ステッ
プＳ１１０において１フレームの最後のマクロブロック
でない時にはステップＳ１０２へ戻る。ステップＳ１１
０において１フレームの最後のマクロブロックである時
には、１フレームのフレームデコードを終了してステッ
プＳ１０１へ戻る（ステップＳ１１１）。
【００３２】本発明の第１の実施の形態としての動画像
伸長装置においては、Ｐピクチャの伸長処理においてマ
クロブロックの動き補償処理を行う直前に参照するフレ
ームの同じ位置のマクロブロックを表示装置３へ転送す
るために、そのマクロブロックのデータはキャッシュメ
モリ装置５に格納されている。このことにより、動き補
償処理でキャッシュミスが発生する確率を低くすること
ができる。
伸長装置においては、Ｐピクチャの伸長処理においてマ
クロブロックの動き補償処理を行う直前に参照するフレ
ームの同じ位置のマクロブロックを表示装置３へ転送す
るために、そのマクロブロックのデータはキャッシュメ
モリ装置５に格納されている。このことにより、動き補
償処理でキャッシュミスが発生する確率を低くすること
ができる。
【００３３】次に、本発明の第２の実施の形態としての
動画像伸長装置を図１および図３に基づいて詳細に説明
する。図１に示すように、本発明の第２の実施の形態と
しての動画像伸長装置は、ＣＰＵ１と、内部メモリ装置
２と、表示装置３と、外部メモリ装置４と、キャッシュ
メモリ装置５と、を有している。ＣＰＵ１は、内部メモ
リ装置２と表示装置３と外部メモリ装置４とにバス６を
介して接続されている。ＣＰＵ１は、キャッシュメモリ
装置５を内蔵し、また、デコードソフトウエアを記憶し
ている。
動画像伸長装置を図１および図３に基づいて詳細に説明
する。図１に示すように、本発明の第２の実施の形態と
しての動画像伸長装置は、ＣＰＵ１と、内部メモリ装置
２と、表示装置３と、外部メモリ装置４と、キャッシュ
メモリ装置５と、を有している。ＣＰＵ１は、内部メモ
リ装置２と表示装置３と外部メモリ装置４とにバス６を
介して接続されている。ＣＰＵ１は、キャッシュメモリ
装置５を内蔵し、また、デコードソフトウエアを記憶し
ている。
【００３４】図３は、本発明の第２の実施の形態として
の動画像伸長装置の動作を示すフローチャートである。
１フレームの伸長処理をする時に、ＣＰＵ１は、フレー
ムデコード開始であるか否かを判断する（ステップＳ２
０１）。ステップＳ２０１においてフレームデコード開
始である時には、ＣＰＵ１は、［カウンタ］＝０とし
（ステップＳ２０２）、現在伸長しているフレームがＩ
ピクチャまたはＰピクチャであるか否かを判断する（ス
テップＳ２０３）。ステップＳ２０３において現在伸長
しているフレームがＩピクチャまたはＰピクチャである
時には、その直前のＩピクチャまたはＰピクチャ（参照
フレーム）のＫ個のマクロブロックを表示装置３に転送
する（ステップＳ２０４）。ステップＳ２０４の処理の
後に、または、ステップＳ２０３において現在伸長して
いるフレームがＩピクチャまたはＰピクチャでない時
に、ＣＰＵ１は１マクロブロックごとに可変長符号復号
と（ステップＳ２０５）、逆量子化と（ステップＳ２０
６）、逆ＤＣＴと（ステップＳ２０７）、動き補償と
（ステップＳ２０８）、を行なう。
の動画像伸長装置の動作を示すフローチャートである。
１フレームの伸長処理をする時に、ＣＰＵ１は、フレー
ムデコード開始であるか否かを判断する（ステップＳ２
０１）。ステップＳ２０１においてフレームデコード開
始である時には、ＣＰＵ１は、［カウンタ］＝０とし
（ステップＳ２０２）、現在伸長しているフレームがＩ
ピクチャまたはＰピクチャであるか否かを判断する（ス
テップＳ２０３）。ステップＳ２０３において現在伸長
しているフレームがＩピクチャまたはＰピクチャである
時には、その直前のＩピクチャまたはＰピクチャ（参照
フレーム）のＫ個のマクロブロックを表示装置３に転送
する（ステップＳ２０４）。ステップＳ２０４の処理の
後に、または、ステップＳ２０３において現在伸長して
いるフレームがＩピクチャまたはＰピクチャでない時
に、ＣＰＵ１は１マクロブロックごとに可変長符号復号
と（ステップＳ２０５）、逆量子化と（ステップＳ２０
６）、逆ＤＣＴと（ステップＳ２０７）、動き補償と
（ステップＳ２０８）、を行なう。
【００３５】次に、ＣＰＵ１は現在伸長しているフレー
ムがＢピクチャであるか否かを判断する（ステップＳ２
０９）。ステップＳ２０９で現在伸長しているフレーム
がＢピクチャである時には、伸長した１マクロブロック
を表示装置３に転送し（ステップＳ２１０）、［カウン
タ］＝［カウンタ］＋１とする（ステップＳ２１１）。
また、ステップＳ２０９で現在伸長しているフレームが
Ｂピクチャでない時には、ステップＳ２１１へ進む。
ムがＢピクチャであるか否かを判断する（ステップＳ２
０９）。ステップＳ２０９で現在伸長しているフレーム
がＢピクチャである時には、伸長した１マクロブロック
を表示装置３に転送し（ステップＳ２１０）、［カウン
タ］＝［カウンタ］＋１とする（ステップＳ２１１）。
また、ステップＳ２０９で現在伸長しているフレームが
Ｂピクチャでない時には、ステップＳ２１１へ進む。
【００３６】次に、［カウンタ］≧Ｋであるか否かを判
断する（ステップＳ２１２）。ステップＳ２１２におい
て［カウンタ］≧Ｋでない時には、ステップＳ２０５へ
戻る。ステップＳ２１２において［カウンタ］≧Ｋであ
る時には、１フレームの最後のマクロブロックであるか
否かを判断する（ステップＳ２１３）。ステップＳ２１
３において１フレームの最後のマクロブロックでない時
にはステップＳ２０２へ戻る。ステップＳ２１３におい
て１フレームの最後のマクロブロックである時には、フ
レームデコードを終了し（ステップＳ２１４）、ステッ
プＳ２０１へ戻る。
断する（ステップＳ２１２）。ステップＳ２１２におい
て［カウンタ］≧Ｋでない時には、ステップＳ２０５へ
戻る。ステップＳ２１２において［カウンタ］≧Ｋであ
る時には、１フレームの最後のマクロブロックであるか
否かを判断する（ステップＳ２１３）。ステップＳ２１
３において１フレームの最後のマクロブロックでない時
にはステップＳ２０２へ戻る。ステップＳ２１３におい
て１フレームの最後のマクロブロックである時には、フ
レームデコードを終了し（ステップＳ２１４）、ステッ
プＳ２０１へ戻る。
【００３７】ここで、ある定数Ｋはキャッシュメモリ装
置５のサイズと、伸長する画像のサイズによって最適な
値が異なる。例えば２５６キロバイトのキャッシュメモ
リ装置５を含む動画像伸長装置で、横が７２０画素であ
り、縦が４８０画素であるＭＰＥＧ２メインプロファイ
ル・メインレベルの画像を伸長する場合、Ｋを画面上の
横１列のマクロブロックの個数である４５とする。
置５のサイズと、伸長する画像のサイズによって最適な
値が異なる。例えば２５６キロバイトのキャッシュメモ
リ装置５を含む動画像伸長装置で、横が７２０画素であ
り、縦が４８０画素であるＭＰＥＧ２メインプロファイ
ル・メインレベルの画像を伸長する場合、Ｋを画面上の
横１列のマクロブロックの個数である４５とする。
【００３８】第２の実施の形態としての動画像伸長装置
は、ＣＰＵ１に内蔵されているキャッシュメモリ装置５
が数百キロバイト程度と十分大きい場合またはＣＰＵ１
の外側に数百キロバイト程度の二次キャッシュメモリ装
置が配置されている場合に効果がある。第２の実施の形
態としての動画像伸長装置では、Ｐピクチャの伸長処理
において、所定数のマクロブロックの伸長処理を行う前
に、参照するフレームの同じ位置の所定数のマクロブロ
ックを表示装置３へ転送するために、そのマクロブロッ
クのデータはキャッシュメモリ装置５に格納されてい
る。このことにより、動き補償処理でキャッシュミスが
発生する確率を低くすることができる。伸長しているマ
クロブロックに対して、参照フレーム内でその近くにあ
るマクロブロックがキャッシュメモリ装置５に格納され
ているため、動きが小さければキャッシュミスを起こさ
ずに動き補償処理を行える。
は、ＣＰＵ１に内蔵されているキャッシュメモリ装置５
が数百キロバイト程度と十分大きい場合またはＣＰＵ１
の外側に数百キロバイト程度の二次キャッシュメモリ装
置が配置されている場合に効果がある。第２の実施の形
態としての動画像伸長装置では、Ｐピクチャの伸長処理
において、所定数のマクロブロックの伸長処理を行う前
に、参照するフレームの同じ位置の所定数のマクロブロ
ックを表示装置３へ転送するために、そのマクロブロッ
クのデータはキャッシュメモリ装置５に格納されてい
る。このことにより、動き補償処理でキャッシュミスが
発生する確率を低くすることができる。伸長しているマ
クロブロックに対して、参照フレーム内でその近くにあ
るマクロブロックがキャッシュメモリ装置５に格納され
ているため、動きが小さければキャッシュミスを起こさ
ずに動き補償処理を行える。
【００３９】また、本発明の第２の実施の形態としての
動画像伸長装置は、Ｂピクチャの伸長処理において、動
き補償処理が終了したマクロブロックを内部メモリ装置
２に格納せずに表示装置３に転送するために、再度内部
メモリ装置２から読み込む必要がなく、表示装置３に転
送する処理におけるキャッシュミスの発生をなくすこと
ができる。
動画像伸長装置は、Ｂピクチャの伸長処理において、動
き補償処理が終了したマクロブロックを内部メモリ装置
２に格納せずに表示装置３に転送するために、再度内部
メモリ装置２から読み込む必要がなく、表示装置３に転
送する処理におけるキャッシュミスの発生をなくすこと
ができる。
【００４０】本発明は、Ｐピクチャの伸長処理において
マクロブロックの動き補償処理を行う直前に参照するフ
レームの同じ位置の１個または所定数のマクロブロック
を表示装置３へ転送するために、そのマクロブロックの
データはキャッシュメモリ装置３に格納されている。こ
のことにより、動き補償処理でキャッシュミスが発生す
る確率を低くすることができる。これは、一般的な動画
像には、例えば背景のように動きの少ない部分がある程
度存在するので、動き補償処理では参照するフレーム内
の同じ位置か近い位置にある領域を利用することが多い
ということに基づいている。
マクロブロックの動き補償処理を行う直前に参照するフ
レームの同じ位置の１個または所定数のマクロブロック
を表示装置３へ転送するために、そのマクロブロックの
データはキャッシュメモリ装置３に格納されている。こ
のことにより、動き補償処理でキャッシュミスが発生す
る確率を低くすることができる。これは、一般的な動画
像には、例えば背景のように動きの少ない部分がある程
度存在するので、動き補償処理では参照するフレーム内
の同じ位置か近い位置にある領域を利用することが多い
ということに基づいている。
【００４１】また、本発明は、Ｂピクチャの伸長処理に
おいては動き補償処理が終了したマクロブロックを内部
メモリ装置２に格納せずに表示装置３に転送するため、
表示装置３に転送するために再度内部メモリ装置２から
読み込む必要がなく、表示装置３に転送する処理におけ
るキャッシュミスの発生をなくすことができる。
おいては動き補償処理が終了したマクロブロックを内部
メモリ装置２に格納せずに表示装置３に転送するため、
表示装置３に転送するために再度内部メモリ装置２から
読み込む必要がなく、表示装置３に転送する処理におけ
るキャッシュミスの発生をなくすことができる。
【００４２】
【発明の効果】本発明は、動き補償処理と表示装置への
転送処理におけるキャッシュミスを減らすことにより、
デコードソフトウエアの処理速度の低下を防ぐことがで
きる。
転送処理におけるキャッシュミスを減らすことにより、
デコードソフトウエアの処理速度の低下を防ぐことがで
きる。
【図１】本発明の第１の実施の形態としての動画像伸長
装置を示すブロック図である。
装置を示すブロック図である。
【図２】本発明の第１の実施の形態としての動画像伸長
装置の動作を示すフローチャートである。
装置の動作を示すフローチャートである。
【図３】本発明の第２の実施の形態としての動画像伸長
装置の動作を示すフローチャートである。
装置の動作を示すフローチャートである。
【図４】従来の動画像伸長装置を示すブロック図であ
る。
る。
【図５】動画像伸長処理におけるフレームの処理順序を
説明するための図である。
説明するための図である。
【図６】従来の動画像伸長装置の動作を説明するための
フローチャートである。
フローチャートである。
１ ＣＰＵ ２ 内部メモリ装置 ３ 表示装置 ４ 外部メモリ装置 ５ キャッシュメモリ装置 ６ バス ３０１ ＣＰＵ ３０２ 内部メモリ装置 ３０３ 表示装置 ３０４ 外部メモリ装置 ３０５ キャッシュメモリ装置 ３０６ バス
Claims (10)
- 【請求項１】 ＣＰＵとメモリ装置と表示装置と前記Ｃ
ＰＵで動作するデコードソフトウエアとを有する動画像
伸長装置において、ＩピクチャまたはＰピクチャの伸長
処理をする時に動き補償処理の直前にそのフレームの直
前のＩピクチャまたはＰピクチャ内において現在伸長中
のマクロブロックと同じ位置にあるマクロブロックを前
記表示装置に転送する転送手段を有することを特徴とす
る動画像伸長装置。 - 【請求項２】 ＣＰＵとメモリ装置と表示装置と前記Ｃ
ＰＵで動作するデコードソフトウエアとを有する動画像
伸長装置において、Ｂピクチャの伸長処理をする時に動
き補償処理の後で伸長したマクロブロックを表示装置へ
転送する転送手段を有することを特徴とする動画像伸長
装置。 - 【請求項３】 ＣＰＵとメモリ装置と表示装置と前記Ｃ
ＰＵで動作するデコードソフトウエアとを有する動画像
伸長装置において、ＩピクチャまたはＰピクチャの伸長
処理をする時に動き補償処理の直前にそのフレームの直
前のＩピクチャまたはＰピクチャ内において現在伸長中
のマクロブロックと同じ位置にあるマクロブロックを前
記表示装置に転送する第１の転送手段と、 Ｂピクチャの伸長処理をする時に動き補償処理の後で伸
長したマクロブロックを表示装置へ転送する第２の転送
手段とを有することを特徴とする動画像伸長装置。 - 【請求項４】 ＣＰＵとメモリ装置と表示装置と前記Ｃ
ＰＵで動作するデコードソフトウエアとを有する動画像
伸長装置において、ＩピクチャまたはＰピクチャの伸長
処理をする時に、そのフレームの直前のＩピクチャまた
はＰピクチャ内の所定数のマクロブロックを表示装置に
転送した後にこれらと同数のマクロブロックに対する伸
長処理を行うという手順を全マクロブロックの伸長処理
が終了するまで繰り返す繰り返し手段を有することを特
徴とする動画像伸長装置。 - 【請求項５】 ＣＰＵとメモリ装置と表示装置と前記Ｃ
ＰＵで動作するデコードソフトウエアとを有する動画像
伸長装置において、ＩピクチャまたはＰピクチャの伸長
処理をする時にそのフレームの直前のＩピクチャまたは
Ｐピクチャ内の所定数のマクロブロックを前記表示装置
に転送した後にこれらと同数のマクロブロックに対する
伸長処理を行うという手順を全マクロブロックの伸長処
理が終了するまで繰り返す繰り返し手段と、 Ｂピクチャの伸長処理をする時に動き補償処理の後で伸
長したマクロブロックを前記表示装置へ転送する転送手
段とを有することを特徴とする動画像伸長装置。 - 【請求項６】 ＣＰＵとメモリ装置と表示装置と前記Ｃ
ＰＵで動作するデコードソフトウエアとを用いる動画像
伸長方法において、ＩピクチャまたはＰピクチャの伸長
処理をする時に動き補償処理の直前にそのフレームの直
前のＩピクチャまたはＰピクチャ内において現在伸長中
のマクロブロックと同じ位置にあるマクロブロックを前
記表示装置に転送するステップを有することを特徴とす
る動画像伸長方法。 - 【請求項７】 ＣＰＵとメモリ装置と表示装置と前記Ｃ
ＰＵで動作するデコードソフトウエアとを用いる動画像
伸長方法において、Ｂピクチャの伸長処理をする時に動
き補償処理の後で伸長したマクロブロックを表示装置へ
転送するステップを有することを特徴とする動画像伸長
方法。 - 【請求項８】 ＣＰＵとメモリ装置と表示装置と前記Ｃ
ＰＵで動作するデコードソフトウエアとを用いる動画像
伸長方法において、ＩピクチャまたはＰピクチャの伸長
処理をする時に動き補償処理の直前にそのフレームの直
前のＩピクチャまたはＰピクチャ内において現在伸長中
のマクロブロックと同じ位置にあるマクロブロックを前
記表示装置に転送する第１のステップと、 Ｂピクチャの伸長処理をする時に動き補償処理の後で伸
長したマクロブロックを表示装置へ転送する第２のステ
ップとを有することを特徴とする動画像伸長方法。 - 【請求項９】 ＣＰＵとメモリ装置と表示装置と前記Ｃ
ＰＵで動作するデコードソフトウエアとを用いる動画像
伸長方法において、ＩピクチャまたはＰピクチャの伸長
処理をする時にそのフレームの直前のＩピクチャまたは
Ｐピクチャ内の所定数のマクロブロックを表示装置に転
送した後にこれらと同数のマクロブロックに対する伸長
処理を行うという手順を全マクロブロックの伸長処理が
終了するまで繰り返すステップを有することを特徴とす
る動画像伸長方法。 - 【請求項１０】 ＣＰＵとメモリ装置と表示装置と前記
ＣＰＵで動作するデコードソフトウエアとを用いる動画
像伸長方法において、ＩピクチャまたはＰピクチャの伸
長処理をする時にそのフレームの直前のＩピクチャまた
はＰピクチャ内の所定数のマクロブロックを前記表示装
置に転送した後にこれらと同数のマクロブロックに対す
る伸長処理を行うという手順を全マクロブロックの伸長
処理が終了するまで繰り返すステップと、 Ｂピクチャの伸長処理をする時に動き補償処理の後で伸
長したマクロブロックを前記表示装置へ転送するステッ
プとを有することを特徴とする動画像伸長方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08857098A JP3372864B2 (ja) | 1998-04-01 | 1998-04-01 | 動画像伸長装置及び方法 |
| US09/285,043 US6320908B1 (en) | 1998-04-01 | 1999-04-01 | Moving pictures decompression device and method with reduced process speed of decoding software |
| EP19990106692 EP0971546A3 (en) | 1998-04-01 | 1999-04-01 | Moving pictures decompression device and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08857098A JP3372864B2 (ja) | 1998-04-01 | 1998-04-01 | 動画像伸長装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11289536A true JPH11289536A (ja) | 1999-10-19 |
| JP3372864B2 JP3372864B2 (ja) | 2003-02-04 |
Family
ID=13946534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08857098A Expired - Fee Related JP3372864B2 (ja) | 1998-04-01 | 1998-04-01 | 動画像伸長装置及び方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6320908B1 (ja) |
| EP (1) | EP0971546A3 (ja) |
| JP (1) | JP3372864B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008038513A1 (en) * | 2006-09-26 | 2008-04-03 | Panasonic Corporation | Decoding device, decoding method, decoding program, and integrated circuit |
| JP2010079535A (ja) * | 2008-09-25 | 2010-04-08 | Mitsubishi Electric Corp | データアクセス装置 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6829303B1 (en) * | 1999-11-17 | 2004-12-07 | Hitachi America, Ltd. | Methods and apparatus for decoding images using dedicated hardware circuitry and a programmable processor |
| CN1792097A (zh) | 2003-05-19 | 2006-06-21 | 皇家飞利浦电子股份有限公司 | 具有低存储器带宽要求的视频处理设备 |
| US8599841B1 (en) | 2006-03-28 | 2013-12-03 | Nvidia Corporation | Multi-format bitstream decoding engine |
| US8593469B2 (en) * | 2006-03-29 | 2013-11-26 | Nvidia Corporation | Method and circuit for efficient caching of reference video data |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5614952A (en) * | 1994-10-11 | 1997-03-25 | Hitachi America, Ltd. | Digital video decoder for decoding digital high definition and/or digital standard definition television signals |
| US5778143A (en) * | 1993-01-13 | 1998-07-07 | Hitachi America, Ltd. | Method and apparatus for the selection of data for use in VTR trick playback operation in a system using progressive picture refresh |
| US5329318A (en) * | 1993-05-13 | 1994-07-12 | Intel Corporation | Method for optimizing image motion estimation |
| US5467131A (en) * | 1993-12-30 | 1995-11-14 | Hewlett-Packard Company | Method and apparatus for fast digital signal decoding |
| US5696985A (en) * | 1995-06-07 | 1997-12-09 | International Business Machines Corporation | Video processor |
| GB9512565D0 (en) * | 1995-06-21 | 1995-08-23 | Sgs Thomson Microelectronics | Video signal processor |
| US5761423A (en) * | 1995-11-14 | 1998-06-02 | Industrial Technology Research Institute | Scalable picture storage access architecture for video decoding |
| KR100194039B1 (ko) * | 1996-04-19 | 1999-06-15 | 윤종용 | 엠펙 시스템의 우선순위 처리회로 |
| JP3692613B2 (ja) | 1996-05-20 | 2005-09-07 | ソニー株式会社 | 情報処理方法及び情報処理装置 |
| US6173366B1 (en) * | 1996-12-02 | 2001-01-09 | Compaq Computer Corp. | Load and store instructions which perform unpacking and packing of data bits in separate vector and integer cache storage |
| US6061521A (en) * | 1996-12-02 | 2000-05-09 | Compaq Computer Corp. | Computer having multimedia operations executable as two distinct sets of operations within a single instruction cycle |
| US5990958A (en) * | 1997-06-17 | 1999-11-23 | National Semiconductor Corporation | Apparatus and method for MPEG video decompression |
| JPH11285004A (ja) * | 1998-03-31 | 1999-10-15 | Nec Corp | 動画像伸長装置及び方法 |
-
1998
- 1998-04-01 JP JP08857098A patent/JP3372864B2/ja not_active Expired - Fee Related
-
1999
- 1999-04-01 EP EP19990106692 patent/EP0971546A3/en not_active Withdrawn
- 1999-04-01 US US09/285,043 patent/US6320908B1/en not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008038513A1 (en) * | 2006-09-26 | 2008-04-03 | Panasonic Corporation | Decoding device, decoding method, decoding program, and integrated circuit |
| US8731311B2 (en) | 2006-09-26 | 2014-05-20 | Panasonic Corporation | Decoding device, decoding method, decoding program, and integrated circuit |
| JP2010079535A (ja) * | 2008-09-25 | 2010-04-08 | Mitsubishi Electric Corp | データアクセス装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3372864B2 (ja) | 2003-02-04 |
| EP0971546A2 (en) | 2000-01-12 |
| US6320908B1 (en) | 2001-11-20 |
| EP0971546A3 (en) | 2003-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7965773B1 (en) | Macroblock cache | |
| US10542276B2 (en) | Data caching method and apparatus for video decoder | |
| US8619862B2 (en) | Method and device for generating an image data stream, method and device for reconstructing a current image from an image data stream, image data stream and storage medium carrying an image data stream | |
| US7916785B2 (en) | Image processing apparatus and method | |
| US8660191B2 (en) | Software video decoder display buffer underflow prediction and recovery | |
| KR20070104568A (ko) | 오버랩 평활화 및 인-루프 디블록킹의 구분적 프로세싱 | |
| EP2747434A1 (en) | Video image compression/decompression device | |
| JP4755624B2 (ja) | 動き補償装置 | |
| JP4346573B2 (ja) | 符号化装置と方法 | |
| CN112333446A (zh) | 一种帧内块复制参考块压缩方法 | |
| JP3322233B2 (ja) | 動画像伸長方法及びそれを実行するプログラムを記録した記録媒体 | |
| KR100575578B1 (ko) | 이동 단말 장치에서의 움직임 검출 방법 | |
| JP2006121702A (ja) | 向上した圧縮速度を有する動画圧縮装置及びその方法 | |
| JP3372864B2 (ja) | 動画像伸長装置及び方法 | |
| JP5346584B2 (ja) | 復号装置、復号方法、復号プログラム及び集積回路 | |
| US20050168470A1 (en) | Variable-length coding data transfer interface | |
| JPH0937263A (ja) | 動画圧縮装置 | |
| US5666115A (en) | Shifter stage for variable-length digital code decoder | |
| JPH11285004A (ja) | 動画像伸長装置及び方法 | |
| CN1113638A (zh) | 用于运动补偿视像解码器的存储系统 | |
| US20070153909A1 (en) | Apparatus for image encoding and method thereof | |
| US20050286803A1 (en) | Image processing apparatus, display device, image processing method, and image processing program | |
| JP3692613B2 (ja) | 情報処理方法及び情報処理装置 | |
| JP2009060536A (ja) | 画像符号化装置、画像符号化方法 | |
| JP2001045493A (ja) | 動画像符号化装置、動画像出力装置、及び記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20010327 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071122 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081122 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081122 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091122 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091122 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131122 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |