JP3623980B2 - 圧縮されたフレームの復号方法及び装置 - Google Patents

圧縮されたフレームの復号方法及び装置 Download PDF

Info

Publication number
JP3623980B2
JP3623980B2 JP06293194A JP6293194A JP3623980B2 JP 3623980 B2 JP3623980 B2 JP 3623980B2 JP 06293194 A JP06293194 A JP 06293194A JP 6293194 A JP6293194 A JP 6293194A JP 3623980 B2 JP3623980 B2 JP 3623980B2
Authority
JP
Japan
Prior art keywords
frame
type
decoding
decoded
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP06293194A
Other languages
English (en)
Other versions
JPH0723399A (ja
Inventor
ホーティエ ティエリー
モルトル ダビド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JPH0723399A publication Critical patent/JPH0723399A/ja
Application granted granted Critical
Publication of JP3623980B2 publication Critical patent/JP3623980B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/427Display on the fly, e.g. simultaneous writing to and reading from decoding memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H04N5/9261Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、符号化されたデジタルフレームの復号方法であって、単位時間ごとに取り扱われる画素数が固定され、フレームが、各々が各水平及び垂直方向に複数の画素を有するブロックに分割され、逐次送出されるブロック中の処理に基づいて圧縮が行なわれ、各フレームが二つのフィールドの形態でディスプレイされ、フレームを、タイプI、タイプP及びタイプBを有する少なくとも3タイプのものとし、前記タイプIのフレームが、他のフレームを参照することなく絶対値で符号化され、前記タイプPのフレームが、先行するタイプI又はタイプPのフレームを参照して符号化され、前記タイプBのフレームが、各々が前記タイプI又はタイプBのフレームである少なくとも二つの他のフレームを参照して符号化され、前記タイプI又はタイプPのフレームと前記タイプBのフレームとの所定の対を設定して、前記タイプI又はタイプPのフレームが、それに先行して表示される必要がある前記タイプBのフレームを符号化し又は復号する役割を果たし、符号化又は復号されたフレームを格納するメモリスペースを有する、フレームの復号方法に関する。これは標準規格及び高規格のディジタル・テレビジョンに適用できるものである。
【0002】
【従来の技術】
低レートのフレーム用の圧縮アルゴリズムは、相当大きいメモリ容量を用いる。既知のシステムはフレームのレベルでメモリ制御を使用する。しかしこの方法を用いることには、この制御に必要なメモリのサイズが余りに大きい数のメモリユニットを使うので、制限がある。
【0003】
【発明が解決しようとする課題】
本発明は、単位時間に取り扱われる画素の数は一定であるという事実を利用する。その直接の結果が、1フレーム中の符号化されるべき画素の数、従って該フレームを記憶するために必要なメモリ語の数は限定される、そしてフレームの圧縮用のアルゴリズムは逐次送出されるブロックでの取り扱いに基づく、ということである。本発明はまた、フレーム圧縮アルゴリズムが(偶と奇と)2つのフィールドで構成されるフレームに適用されるという事実を利用する。
【0004】
本発明は平均的価格の復号器とメモリとで経済的な方法を提供しようというもので、その方法を用いれば、使用可能なメモリのタイプを考慮に入れた上でこのメモリの制御を余りに複雑にすることなく、復号されたフレームを最小サイズのメモリ中に記憶することができる。従ってこれは復号されたフレームを記憶しようと意図するメモリユニットの数が増加するという問題を解決する。
【0005】
【課題を解決するための手段】
この目的は、前記メモリスペースを5ページの形態で配置し、そのうちの4ページが、各々が前記タイプI又はタイプPのフィールドを格納するのに用いられ、第5ページが、各々が1フィールドの全部の容量を有するセクションに分割され、そのセクションは、前記タイプBのフレームのフィールドの一部を格納するのに用いられ、その部分が、フレームの幅と同じ幅を有するブロックのラインを有し、前記タイプBのフレームが、前記フィールド又はフレームの一部の連続する段階で一度に復号され、復号された又は復号中の部分が、前記第5ページ中の既にその内容がディスプレイされているセクションのアドレスに毎回漸進的に位置することにより達成される。
【0006】
セクションの幅に対する適切な妥協が、上記セクションはその各々が1ブロックのラインの容量(すなわちフレーム・ラインの長さを並んで占有するブロックの量)を持つ「ブロックのライン」区域であり、1ブロックのラインの引き続く段階で両方向タイプのフレームと共に1度に復号され、丁度今復号されたばかりの又は現在復号中の上記ブロックのラインは、第5ページ中の既にその内容がディスプレイされているブロックのライン区域のアドレスに毎回漸進的に位置することにより獲得される。
【0007】
従って、1秒当たり25フレームの標準品質を持つ画像の復号中に、16メガビットの容量を持つ1つの同じメモリユニット内にすべてのページを位置させることが可能であり、且つ復号のために受信したフレームもまた、同じユニットの残りの部分に位置する。
【0008】
セクションの制御は内部フレーム又は予測フレームに対しても実行され、該制御のためにフィールドの一部により使用される各セクションは、もしこのセクションの内容が既にディスプレイされているならば、そしてもしそれが動き補償用の参照としては最早用いられないならば、丁度今復号されたばかりのフィールド又は現在復号中のフィールドの一部を記憶するために再割当てされることを好適とする。
【0009】
本発明は、内部フレームと予測フレームとは輝度及びクロミナンスのいずれもフィールドごとに完全に記憶されるという認識、及び両方向フレームは輝度もクロミナンスもブロックのライン中に記憶されるという認識に基づいている。この配列は、すべてのフィールドに対する動き補償がI(内部)フィールド又はP(予測)フィールドに基づいて実行されるという事実、及び動きベクトルの振幅は制限されないという事実に関係がある。
【0010】
1秒当たり25フレームの標準品質を持ちそれが内部フレームである画像を復号する場合にあっては、フィールドの復号の開始とそのディスプレイの開始と間の遅延フィールドの数は、3とするのが好適であり、また、1秒当たり60フレームでディスプレイしなければならない1秒当たり24フレームの場合にあっては、フィールドの復号の開始とそのディスプレイの開始と間の遅延フィールドの数は、4とするのが好適である。
【0011】
上述の方法を実行する装置は、その各々が1フィールドを入れる容量のある4つのページと第5のページとに分割され、該第5ページは複数のセクションに分割され、その1セクションは1フィールドの全部を入れることができ、また該第5ページはフィールドのサイズに2セクションのサイズを足したものより大きいサイズを持つメモリを有することを特徴とし、また、該メモリは更に制御エレメントをも有し、該制御エレメントは両方向タイプのフレームに対しフィールド又はフレームの復号された部分のディスプレイを制御する手段を設けて、それにより各セクションを再割り当てして、もしこのセクションの内容が既にディスプレイされているならば丁度今復号されたばかりのフィールドの部分又は現在復号中のフィールドの部分を登録するようにし、及び、上記制御エレメントはメモリ・アドレスを復号エレメントに与える手段を設けて、丁度今復号されたばかりのフィールド或いはフレームの各部分の開始又は現在復号中のフィールド或いはフレームの各部分の開始が該アドレスに書き込まれることを特徴とする。
【0012】
該装置は第1ないし第4ページ用のセクション制御手段を設けて、該手段により各セクションは、もしこのセクションの内容が既にディスプレイされているならば、そしてもしそれが動き補償用の参照としては最早用いられないならば、丁度今復号されたばかりのフィールドの新しい部分又は現在復号中のフィールドの新しい部分を記憶するために再割り当てされることを好適とする。
【0013】
【実施例】
本発明の詳細は以下に記述する実施例及び図面により明らかにされる。
【0014】
本発明は復号過程に関するものではあるが、符号化過程の予備的な説明をして置くことが復号方法及び装置をより良く理解するのに役立つであろう。
【0015】
動画用の圧縮アルゴリズムは、特別の取り扱い(離散コサイン変換、適応量子化、エントロピー符号化)及び時間的取り扱い(動き補償、時間内挿)を利用する。
【0016】
3つのタイプのフレームが定義される:─ 他のフレームを参照しないで符号化されるタイプI (「内部」"intra")と呼ばれるフレーム、─ 先行するフレームでそれ自身がI又はPタイプのフレームを参照して符号化されるタイプP (「予測」"predicted")と呼ばれるフレーム、─ タイプB(「両方向内挿」"bidirectionally interpolated")と呼ばれるフレーム、すなわち先行のI又はPタイプのフレーム若しくは後続のI又はPタイプのフレームに関係するもの。
【0017】
フレームBのために使用される予測は常に隣接のI又はPフレームから生成される。従ってI及びPフレームは、それらが動き補償のための参照フレームとして用いられるのであるから特定の役割を演じる。
【0018】
符号化される前のフレームのシーケンスの一例は次のようになっている、すなわち、上の行は受信したフレームから符号器により生成されたフレームのタイプI、P又はBを示し、それらはすべて符号化の前に他のフレームを参照しないで定義されたものであり、下の行はこれらのフレームの到着の順序を示すもので、タイプ: I B B P B B P B B …到着の順序:0 1 2 3 4 5 6 7 8 …というようになる。
【0019】
図1は、他のフレームがそれから生成されるフレームを示している。フレームP3はフレームI0から生成される、フレームB1及びB2はフレームI0及びP3から生成される、フレームP6はフレームP3から生成される、フレームB4及びB5はフレームP3及びP6から生成される、フレームP9はフレームP6から生成される、フレームB7及びB8はフレームP6及びP9から生成される、等々である。
【0020】
3番目のフレームP3は符号器中で1番目のフレームI0から創成され、従ってそれは後者のフレームの後にこの符号器を離れ、タイプBの1番目及び2番目のフレームはフレームI0及びP3から創成され、従ってそれらはそれらの後に符号器を離れ、フレームP6はフレームP3から創成され、等々、上記の例でのフレームは次のような順序で符号器を離れる(従って復号器に到着する):タイプ: I P B B P B B …対応する到着の順序:0 3 1 2 6 4 5 ….
【0021】
フレームの水平及び垂直方向の寸法はDIMH及びDIMVと表される。符号化モードはフレーム・モードか又はフィールド・モードかのどちらかであって、フレーム・モードの場合にはDIMH×DIMVのフォーマットを持つテーブルの形でフレームが与えられ、フィールド・モードの場合にはその寸法がDIMH×DIMV/2 の2つの引き続くフィールドの形でフレームが与えられる。各フレーム(又はフィールド)は、その水平及び垂直方向の寸法がそれぞれH及びVのブロックに分断される。通常はH及びVの値は8画素又は16画素である。
【0022】
復号に関する限り、スクリーン上のフレームのディスプレイの順序、すなわち復号器を離れる順序は符号器に到着する順序と同じである:タイプ: I B B P B B P …離れる順序:0 1 2 3 4 5 6 ….
【0023】
ディスプレイは常にフィールドごとに実行され、ラインを基にする。
【0024】
予測及び内挿符号化モードが用いられるとき(フレームB)、フレームは復号器のレベルで再配列されることがあり、その場合にはメモリの特定の制御が必要とされる。
【0025】
図2は、従来の技術の復号器中のフレームのメモリ制御の一例を示し、そこではそれぞれをP1, P2, P3と名付ける3個のメモリ・ページを用い、各ページが1フレームを含むことができる。この図の最上行にどのフレームが復号器に到着したかが示される:前に示した順序が茲に再び示される(I0, P3, B1, 等)。三角形の斜辺は復号の進行及び対応するページの充填を示す。その復号に従いフレームI0はページP1に位置する(三角形0)。その復号に従いフレームP3はページP2に位置する(三角形3)。続いてフレームP6はページP1に記入され、等々、2つのうちの1つのフレームI又はPがP1に書き込まれ、他がP2に書き込まれる。その復号に従いフレームB1はページP3に位置する(三角形1)。フレームのディスプレイ時はこの図の最下行に示される。各フレームは2つのフィールドの形でディスプレイされ、従ってフレーム0は2つの偶フィールド(0e)及び2つの奇フィールド(0o)中にそれぞれ示される、フレーム1は2つの偶フィールド(1e)及び2つの奇フィールド(1o)中にそれぞれ示される、等々。フレームB1の復号時間の半分が経過したとき(すなわち、フレームがフィールド・モードで符号化されているならばその1番目のフィールドが復号されたとき、又はフレームがフレーム・モードで符号化されているならば、偶半フィールドか奇半フィールドかのいずれかであるフレームの上半が復号されたとき)に、両方向フレームの復号のためにディスプレイを開始することができる(時点t1)。フィールド1eがディスプレイされるときにはそれは最早必要ではなく、従ってページP3の一部が既に利用できる(時点t2)。このページP3の一部がフィールド1oのディスプレイ中(時点t2とt3との間)に空になった部分と同様にフレームB2(三角形2)を書き込むために使用され、それによりこのフレームB2の復号時間の半分が経過したとき(時点t3)ディスプレイを開始することができる、等々。これはページP3の特定の制御を必要としない、その理由は新しい両方向フレームがこの画像に先行するものと同じアドレスで再書き込みされるからである。
【0026】
本発明の方法では、P1, P2, P3, P4と名付けられた4つのページに対応する2つの参照フレームが記憶され、その各ページはフィールドI又はPを記憶するために用いられるフィールドを含み、またブロックのラインはPBと名付けられたページに記憶され、これは「ブロックのライン」<"line-of-block"> 区域に分割され、復号されたフレームBのブロックのラインを1つ含むことができる。1フィールドからのブロックの1ラインを含むことのできるメモリ・スペース、すなわち、その各々が輝度用のDIMH画素を持つV個のラインを含むメモリ・スペースがブロックのライン区域と呼ばれる。このようなスペースは、標準的な規定では例えば 720×16画素を含む。Tframe の値を50Hzシステムでは40msに等しいとし、60Hzシステムでは33msに等しいとするときに、Tdec と呼ばれる1フレームの復号時間は最大でもTframe に等しいものとする。ブロックの1ラインを復号する経過時間は符号化されるべきフレームの内容に依存し、限定されている。その結果、ブロックの1ラインの復号時間は複雑な確率法則に従うことになる。復号時間は線形であるとする、すなわちブロックの1ラインを復号する経過時間はほぼ(V/DIMV)* Tdec に等しいとする。しかし、本発明によれば復号が事前又は事後に実行されるような場合に対して使用されるモデルに関し必要とされる装置が用いられる。
【0027】
復号過程の時間ダイアグラムが図3に示される。このシーケンスは、フレームが復号されるときのリズムに関し二重リズムでディスプレイされる場合に対応する。これは30Hzで符号化し60Hzでディスプレイするのに対応するか又は25Hzで符号化し50Hzでディスプレイするのに対応する。符号化のリズムとディスプレイのリズムとが異なる場合が後に論じられる。
【0028】
図3中の時点t1からページPBはB1の奇フィールドを含む。しかし、ページPBの大きさが、フィールド符号化の場合にフィールドの大きさにブロックの1ラインの大きさを加えたものより大きいとし、フレーム符号化の場合にブロックの2ラインの大きさより大きいとするならば、フレームB2は書き込むことができる。ページPBの最小のメモリ・サイズ "TailleminE" は:TailleminE= (DIMH×DIMV/2)+(2×V×DIMH)である。
【0029】
この過程は、フレーム又はフィールドのレベルでのメモリ制御に基づく既知のシステムに関しメモリ制御により大きな柔軟性を与える。図3では、偶フィールドB1のディスプレイの開始と終了との間に(DIMV/2)×V個のブロックのライン区域がディスプレイ過程によって開放されたのである。この期間中にこれらのメモリ区域は復号されたフレームB1の2番目の部分を記憶するために復号過程中で利用することができる。
【0030】
図4はページPBの一部の状態を示し、各四角形がブロックのライン区域を表している。これは図3の時点t2における状態、すなわち奇フレーム1oの半分がディスプレイされているときに関するものである。例えば "B2 no.p+1"というのは今問題のブロックのライン区域が2番のフレームBの "p+1"番のブロックのラインを含むことを指す。B2 no.p の前に位置するブロックのライン"B1 no.n-6" は既にディスプレイされており、従ってメモリ区域(……)は空である。同じように"B1 no.n-2" と"B1 no.n" との間のブロックのラインは既にディスプレイされており、従ってメモリ区域は空である。
【0031】
この型の制御を用いて、最小サイズ (DIMH×DIMV/2)+(2×V×DIMH) と最大サイズDIMH×DIMVとの間のメモリ・スペースがページPBのために用いられる。
【0032】
復号時間が線形のシステムに対してページPBに必要なサイズは (2/3)×DIMH×DIMVである。
【0033】
上述の原理は60Hzシステムにも同様に適用できるし、ページP1, P2, P3, P4,PBは常にブロックのラインに配列される。しかし、60Hzシステムの場合には復号器は30Hz又は60Hzで符号化されたシーケンスを復号することができなければならず、また24Hzで符号化されたフィルム・シーケンスも復号することができなければならない(それに対し50Hzシステムではすべてのシーケンスが25Hz又は50Hzで符号化されている)。
【0034】
図5は、24Hzで復号し60Hzでディスプレイするシーケンスを示す。フレームは30Hzで与えられるのだから、復号されたフレームは僅かに1/30秒しか継続しない。これに対して符号化リズムは24Hz、すなわち復号されるべきフレームは1/24秒ごとに到着する。使用可能なフレームの数より大きいディスプレイ周波数を得るために、2フレームごとに1フィールドが2回ディスプレイされる(茲では、1oの後に再び1eがディスプレイされ、3eの後に再び3oがディスプレイされ、等々。更にまた、この第2補充フィールド1eは偶であるから、その次のフィールドは奇でなければならず、このことからそれに続くディスプレイは2eではなく2oになる)。60Hz復号器は30Hz又は24Hzで符号化されたシーケンス列を復号する能力がなければならず、またディスプレイと復号との間の遅延フィールドの数は一定でなければならない。その結果、60Hzでは復号とディスプレイとの間の遅延は常に4フィールドに固定される。このことは、最初の復号されたフィールドと最初のディスプレイされたフィールドと間の遅延フィールドの数が3である50Hzシステムとの、かなりの相違を構成する。
【0035】
30Hzで符号化し60Hzでディスプレイするシーケンスの復号の場合、すなわち60Hzでの復号の場合に、フレーム2の復号の開始が遅延しないために、ページPBは(完全なフレームB1を記憶するために)完全なフレームを含まなければならず、またフレームB2の復号から得られる最初のブロックのラインを記憶するために2つのブロックのラインを含まなければならない。60HzでのEに対する最小の大きさは (DIMH×DIMV)+(2×V×DIMH) である。
【0036】
図6は、本発明による動画の圧縮復元及び復号用のシステムの分割を示す。それは機能的に4つのエレメントに分割される:─ メモリ4は、その各々が内部フィールド又は予測フィールドを含むために用いられる4つのページP1, P2, P3, P4、及び5番目のページPBに分割され、該5番目のページPBはブロックのライン区域と呼ばれる区域に分割され、それらの区域の各々は両方向フレームのブロックのラインを記憶するために用いられる。更にメモリ4は、"FIFO"と名付けられる区域を含み、これは復号器の受信したフレームを記憶するために用いられる。
─ 復号エレメント1は、導線7により圧縮された形で受信したフレームを復号及び圧縮の復元をするため、及び外部メモリ4に書き込むために用いる。
─ ディスプレイ・エレメント3は、復号されたフレームを外部メモリから読み出して、それらを任意のディスプレイ装置(図示されていない)に、ビデオ同期信号と同期をとって導線8経由で供給する。
─ フレーム・メモリの制御エレメント2は、それによって本発明を実行するものである。
フレーム・メモリの制御エレメント2は、次に記載のものを復号エレメント1に与える:─ 復号中のフレームの各ブロックのラインの開始が其処に書き込まれているメモリ・アドレス,─ 動き補償用に使われる予測フィールド(過去及び将来の参照資料)のメモリ・アドレス.
【0037】
タイプBのフレームに対しては、このエレメントは次の規約に基づいて機能する:ブロックのラインによって使われる各区域は、もしその内容が既にディスプレイされているならば、復号中にブロックのラインを記憶するために再割当てされることができる。このようなメモリ制御は情報工学の分野では既知であり、従ってその機能についての記述は当業者にはこれで十分であろう。
【0038】
フレームBから復号中の各新しいブロックのラインに対して、フレーム・メモリの制御エレメント2は、フレーム符号化の場合にはブロックのライン2つを割り当て、フィールド符号化の場合にはブロックのライン1つを割り当てる。もしブロックのメモリ・ラインが1つも使えなければ、ページPB中に2つのブロックのラインが使えるようになるまで復号過程は停止する。この状態はフレームBが極めて強力に圧縮されているときに生じることがあり、その場合に復号過程は、DCT 復号及び「半画素」<"demi-pixel">動き補償が実行されなければならない場合におけるよりも更に急速に実現されることがある。この場合は開始に当たってページPBに対し更に大きい区域を保留することにより避けられる。フレーム・メモリの制御エレメント2は、復号化されるべきフレームを記憶するために、既にディスプレイされたフィールドを含む2つのメモリ区域の割当てと共に、新しい復号されたフレームI又はPの各々に対しても変更される。もしフィールド区域に含まれるフレームがディスプレイされていれば、ブロックのラインのレベルにおける制御も、フレームI又はPに対するフレーム・メモリ用の制御エレメントにより(フレームBに対し実現したもの以外に)実行されることがある。そのときフレーム・メモリの制御エレメント2は次の規約に従って機能する:フィールド又はブロックのラインにより利用される各区域は、もしその内容が既にディスプレイされているならば、そしてそれは動き補償用の参照としては最早使われないならば、復号中に同じタイプのフィールド又はブロックのラインを記憶するために再割当てされることがある。従ってもしフィールド・メモリのブロックのライン第「n」番が完全にディスプレイされているならば、それは復号中にフレームI又はPのブロックのライン第「p」番(p<nとする)を記憶するために、もし他のフィールド・メモリが1つも使えないならば、使用することができる。従って例えば純粋に予測的な符号化過程の場合(すなわち、タイプBのフレームが無く、フレームPはフレームBがフレームPの間に挿入されている場合におけるよりも高いリズムで復号器により受信される場合)には、ブロックのライン中に配列されたメモリP1又はメモリP3は、偶フィールドの下半分をそれらの下部に含み、その次の偶フィールドの開始をそれらの上部に含むことができ、同様に、ブロックのライン中に配列されたメモリP2及びメモリP4は、奇フィールドの下半分をそれらの下部に含み、その次の奇フィールドの開始をそれらの上部に含むことができる。
【0039】
フレーム・メモリの制御エレメント2はディスプレイ・エレメントに、ディスプレイ中のフレームの各ブロックのラインの開始に対応するメモリ・アドレスを与える。ディスプレイ・エレメントによりV本のディスプレイ・ラインごとに行われる各要請に応じて、フレーム・メモリに対する制御エレメント2は、ディスプレイされるべきブロックのラインの開始が位置する外部メモリ・アドレスを供給する。
【0040】
ディスプレイ過程はメモリに対して優位でなければならないから、復号過程の入力で圧縮されたデータの欠落により復号過程が中断されなければならないときを除き、それは決してディスプレイに必要なデータを予想して実行されてはならない。ディスプレイ過程はブロックのライン区域ごとのメモリを開放し、それは引き続いて、復号中のブロックのラインを記憶するためにフレーム・メモリの制御エレメント2により再割当てされる。
【0041】
図7は、図6のフレーム・メモリの制御エレメント2の内部分割を示す。該エレメントは次の3つのモジュールにより構成される:制御モジュール9,「メモリユニット」モジュール6,及び「計算ユニット」モジュール5である。制御ユニット9は復号エレメント1から導線10経由で復号されたフレームの特徴に対応する2進数列からの情報を受信する、特に:─ フレームのタイプ,─ 符号化のタイプ,─ クロミナンスの副標本化のタイプを受信する。それはまた、復号エレメントから導線11経由で、その次の復号されるべきブロックのラインに対するメモリ割当て要請を受信する。
【0042】
復号エレメントからの各メモリ・アドレス要請に応じて、制御モジュールは外部メモリ中に存在する各ブロックのラインに係わる情報を含むメモリユニット(MUと記す)を探索する。もしブロックのラインが1つも使用できなければ、記憶されるべきブロックのラインに対応するメモリ・スペースが空くという予想の下に復号動作を停止する。もしブロックのライン区域が1つ使用可能であれば、ユニットMUは計算ユニット5(CUと記す)に対する指標を与え、これは外部メモリ4中の対応するメモリ・アドレスを生成し、それを導線13に供給する。引き続きこのアドレスはユニットCUによって復号エレメント1に供給される。ディスプレイ・エレメント3は、該ディスプレイ・エレメントにより外部メモリ4からその次にディスプレイされようとするブロックのラインが其処で読み出されるべきメモリ・アドレスを、導線12経由でモジュール9に要請する。
【0043】
ディスプレイ・エレメントからのメモリ・アドレスの各要請に応じて、制御モジュールは、指標をユニットCUに供給するユニットMUを探索し、該指標は外部メモリ・アドレスを供給するために復号される。もしこのアドレスが得られなければ、換言すればもし復号過程が正しく実行されなければ、フレーム・メモリの制御エレメント2は、正規にディスプレイされるフレームに十分近接しているフレームを供給するという観点で、最後のフレームI又はPに伴うブロックのラインのメモリ区域のアドレスをディスプレイ・エレメント3に供給する。
【0044】
ユニットMUはメモリとアドレス生成器とにより構成される。メモリ中に記憶されているブロックのラインの数は限定されているから、外部メモリ中のブロックのラインの指標がユニットMUのメモリに対するアドレスとして使用される。このアドレスに伴うデータは2つのフィールドで構成される:─ データ:フレーム中のブロックのラインの指標に対応するもの.
─ 制御:メモリ中のブロックのラインに伴うすべての制御情報を含むもの.
【0045】
制御モジュール9は常に復号エレメント1及びディスプレイ・エレメント3の要請に関する予想の下に働く。それは、ブロックのライン第「n」番を復号中(又はディスプレイ中)に、ブロックのライン第「 n+1 」番が其処に書き込まれなければならない(又は読み出されなければならない)メモリ・アドレスを計算する。
【0046】
メモリの制御はフレームBに対してはブロックのラインに基づいて実行されるから、メモリの拡大は小メモリ増加<small memory increments> に対応するブロックのラインごとに実現する。それに反しフレームのシーケンスについての試験は、Tdec 及びTailleminEの一対の最適値を見出すために復号時間Tdec に対する正確な限界を先験的に知ることなく、Tdec 及びTailleminEの種々の値で行ってもよい。
【0047】
また一方では、もしフレームBに対するブロックのラインに割り当てられたメモリサイズが固定しているならば、復号システムの動作周波数は、フレームBのブロックのラインを記憶するために割り当てられたメモリサイズにより課せられる制限に合致するようなTdec 値をもたらすように定めることができる。
【0048】
本発明は50Hzシステムにおいて特に興味があり、そこではフレーム当たりのメモリ制御はクロミナンスに対して水平及び垂直に因数2の副標本化フォーマットのために3フレームを記憶することになり3× 720× 576×12 = 14.93×106 ビットである。もし復号フレーム用のシステムが16メガビットのDRAMで構築されるとするならば、約 7.4×106 ビット/秒の等価レートに対応する圧縮されたフレームを記憶するために、其処では 1.847×106 ビットしか使用可能でない。
【0049】
本発明では画素メモリ部に14.197×106 ビットのみが使用され、その結果として、2.58×106 ビットが16メガビット・メモリ・システムで圧縮されたフレーム用に使うことができる、これは約10.4×106 ビット/秒のレートに対応する。
【図面の簡単な説明】
【図1】図1は、フレームの相互に関する符号化を説明する図である。
【図2】図2は、従来の技術の時間ダイアグラムを示す図である。
【図3】図3は、本発明の方法による時間ダイアグラムを示す図である。
【図4】図4は、タイプBのフレームのブロックのラインを含むメモリ・ページの一部の制御を説明する図である。
【図5】図5は、1秒当たり60フィールドの形でディスプレイされる1秒当たり24フレームの映画画像の場合における本発明の方法による時間ダイアグラムを示す図である。
【図6】図6は、ページP1からP4までとPBとに分割されたメモリを持つ本発明による圧縮復元及び復号装置の分割を図式的に示す図である。
【図7】図7は、図6のエレメント2の構造を図式的に示す図である。
【符号の説明】
1 復号エレメント
2 フレーム・メモリの制御エレメント
3 ディスプレイ・エレメント
4 メモリ
5 「計算ユニット」モジュール
6 「メモリユニット」モジュール
9 制御モジュール

Claims (7)

  1. 符号化されたデジタルフレームの復号方法であって、単位時間ごとに取り扱われる画素数が固定され、フレームが、各々が各水平及び垂直方向に複数の画素を有するブロックに分割され、逐次送出されるブロック中の処理に基づいて圧縮が行なわれ、各フレームが二つのフィールドの形態でディスプレイされ、フレームを、タイプI、タイプP及びタイプBを有する少なくとも3タイプのものとし、前記タイプIのフレームが、他のフレームを参照することなく絶対値で符号化され、前記タイプPのフレームが、先行するタイプI又はタイプPのフレームを参照して符号化され、前記タイプBのフレームが、各々が前記タイプI又はタイプBのフレームである少なくとも二つの他のフレームを参照して符号化され、前記タイプI又はタイプPのフレームと前記タイプBのフレームとの所定の対を設定して、前記タイプI又はタイプPのフレームが、それに先行して表示される必要がある前記タイプBのフレームを符号化し又は復号する役割を果たし、符号化又は復号されたフレームを格納するメモリスペースを有する、フレームの復号方法において、前記メモリスペースを5ページの形態で配置し、そのうちの4ページが、各々が前記タイプI又はタイプPのフィールドを格納するのに用いられ、第5ページが、各々が1フィールドの全部の容量を有するセクションに分割され、そのセクションは、前記タイプBのフレームのフィールドの一部を格納するのに用いられ、その部分が、フレームの幅と同じ幅を有するブロックのラインを有し、前記タイプBのフレームが、前記フィールド又はフレームの一部の連続する段階で一度に復号され、復号された又は復号中の部分が、前記第5ページ中の既にその内容がディスプレイされているセクションのアドレスに毎回漸進的に位置することを特徴とするデジタルフレームの復号方法。
  2. 請求項1に記載のフレームの復号方法において、上記セクションは、フレーム・ラインの長さを並んで占有するブロックの量に対応するブロックのライン区域であり、1ブロックのラインの連続する段階で両方向タイプのフレームと共に1度に復号され、丁度今復号されたばかりの又は現在復号中の上記ブロックのラインは、第5ページ中の既にその内容がディスプレイされているブロックのライン区域のアドレスに毎回漸進的に位置することを特徴とするフレームの復号方法。
  3. 請求項1又は2に記載のフレームの復号方法において、セクションの制御はタイプIのフレーム又はタイプPのフレームに対しても実行され、該制御のためにフィールドの一部により使用される各セクションは、もしこのセクションの内容が既にディスプレイされているならば、そしてもしそれが動き補償用の参照としては最早用いられないならば、丁度今復号されたばかりのフィールド又は現在復号中のフィールドの一部を記憶するために再割当てされることを特徴とするフレームの復号方法。
  4. 1秒当たり25フレームの標準品質の画像を復号するための、請求項1ないし3のうちのいずれか1項に記載のフレームの復号方法において、すべてのページは、16メガビットの容量を持つ1つの同じメモリユニット内に位置し、復号するために受信したフレームもまた同じユニットのメモリの残りの部分に位置することを特徴とするフレームの復号方法。
  5. 1秒当たり25フレームの標準品質の画像を復号するための、請求項1ないし4のうちのいずれか1項に記載のフレームの復号方法において、タイプIのフレームに対しては、フィールドの復号の開始とそれのディスプレイの開始との間の遅延フィールドの数は3であることを特徴とするフレームの復号方法。
  6. 符号化されたディジタルフレームの復号装置であって、該装置では、単位時間ごとに取り扱われる画素の数は固定されており、各々がフレームの一部を表すブロックに1フレームが分割され、また、フレームに対する圧縮アルゴリズムは逐次送出されるブロック中での処理に基づくものを用いて、上記フレームは各々が2つのフィールドの形で符号化され、フレームを、タイプI、タイプP及びタイプBを有する少なくとも3タイプのものとし、前記タイプIのフレームが、他のフレームを参照することなく絶対値で符号化され、前記タイプPのフレームが、先行するタイプI又はタイプPのフレームを参照して符号化され、前記タイプBのフレームが、各々が前記タイプI又はタイプBのフレームである少なくとも二つの他のフレームを参照して符号化され、前記タイプI又はタイプPのフレームと前記タイプBのフレームとの所定の対を設定して、前記タイプI又はタイプPのフレームが、それに先行して表示される必要がある前記タイプBのフレームを符号化し又は復号する役割を果たし、符号化又は復号されたフレームを格納するメモリスペースを有するメモリ、及び、圧縮された形で受信したフレームを復号するため、並びに復号され終わったフレーム又は現在復号中のフレームをメモリに書き込むための復号エレメントのあるフレーム復号装置において、上記メモリは各々が1フィールドを入れる容量のある4つのページと第5のページとに分割され、該第5ページは複数のセクションに分割され、その1セクションは1フィールドの全部を入れることができ、また該第5ページはフィールドのサイズに2セクションのサイズを足したものより大きいサイズを持ち、上記メモリは更に制御エレメントをも有し、該制御エレメントはタイプBのフレームに対しフィールド又はフレームの復号された部分のディスプレイを制御する手段を設けて、それにより各セクションを再割り当てして、もしこのセクションの内容が既にディスプレイされているならば丁度今復号されたばかりのフィールドの部分又は現在復号中のフィールドの部分を登録するようにし、また、上記制御エレメントはメモリ・アドレスを復号エレメントに与える手段を設けて、丁度今復号されたばかりのフィールド或いはフレームの各部分の開始又は現在復号中のフィールド或いはフレームの各部分の開始が該アドレスに書き込まれることを特徴とするフレーム復号装置。
  7. 請求項6に記載のフレーム復号装置において、該装置は第1ないし第4ページ用のセクション制御手段を設けて、該手段により各セクションは、もしこのセクションの内容が既にディスプレイされているならば、そしてもしそれが動き補償用の参照としては最早用いられないならば、丁度今復号されたばかりのフィールドの新しい部分又は現在復号中のフィールドの新しい部分を記憶するために再割り当てされることを特徴とするフレーム復号装置。
JP06293194A 1993-03-31 1994-03-31 圧縮されたフレームの復号方法及び装置 Expired - Lifetime JP3623980B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR9303778 1993-03-31
FR9303778A FR2703535A1 (fr) 1993-03-31 1993-03-31 Procédé et dispositif pour décoder des images comprimées.

Publications (2)

Publication Number Publication Date
JPH0723399A JPH0723399A (ja) 1995-01-24
JP3623980B2 true JP3623980B2 (ja) 2005-02-23

Family

ID=9445587

Family Applications (1)

Application Number Title Priority Date Filing Date
JP06293194A Expired - Lifetime JP3623980B2 (ja) 1993-03-31 1994-03-31 圧縮されたフレームの復号方法及び装置

Country Status (5)

Country Link
US (1) US5561465A (ja)
EP (1) EP0618722B1 (ja)
JP (1) JP3623980B2 (ja)
DE (1) DE69411791T2 (ja)
FR (1) FR2703535A1 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5768629A (en) * 1993-06-24 1998-06-16 Discovision Associates Token-based adaptive video processing arrangement
KR950703259A (ko) * 1993-06-28 1995-08-23 오오가 노리오 동화상 복호화 장치(Moving picture decoding apparatus)
EP0710028A3 (en) * 1994-10-28 2000-01-19 Kabushiki Kaisha Toshiba Image decoding apparatus
FR2728092A1 (fr) * 1994-12-07 1996-06-14 Philips Electronique Lab Procede pour le decodage d'images comprimees
JP3694912B2 (ja) * 1995-02-23 2005-09-14 株式会社日立製作所 メモリ制御方法及び画像復号装置
FR2731864B1 (fr) * 1995-03-14 1997-06-06 Sgs Thomson Microelectronics Decodeur mpeg a capacite memoire reduite
JPH08275170A (ja) * 1995-03-30 1996-10-18 Canon Inc 画像処理装置
JPH08289302A (ja) * 1995-04-14 1996-11-01 Toshiba Corp 画像復号化装置
GB2301973B (en) * 1995-06-06 1999-10-20 Sony Uk Ltd Motion compensated video processing
JPH0974566A (ja) * 1995-09-04 1997-03-18 Sony Corp 圧縮符号化装置及び圧縮符号化データの記録装置
US6057893A (en) * 1995-12-28 2000-05-02 Sony Corporation Picture encoding method, picture encoding apparatus, picture transmitting method and picture recording medium
JP3535297B2 (ja) * 1996-01-26 2004-06-07 ローム株式会社 画像データ復号方法およびこの方法を用いた画像データ復号装置
KR100215824B1 (ko) * 1996-04-09 1999-08-16 구자홍 엠펙 디코더의 프레임 메모리 및 영상 데이타 디코딩방법
JPH11510989A (ja) * 1996-06-05 1999-09-21 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 符号化ディジタルビデオ信号を復号化する方法および装置
DE69731342T2 (de) * 1996-08-22 2005-03-17 Matsushita Electric Industrial Co., Ltd., Kadoma Bildverarbeitungsvorrichtung
KR100198541B1 (ko) 1996-08-26 1999-06-15 구자홍 영상 프레임 데이터를 일 메모리에 저장하는 방법
US5870087A (en) * 1996-11-13 1999-02-09 Lsi Logic Corporation MPEG decoder system and method having a unified memory for transport decode and system controller functions
GB9704027D0 (en) * 1997-02-26 1997-04-16 Discovision Ass Memory manager for mpeg decoder
US6128340A (en) * 1997-03-14 2000-10-03 Sony Corporation Decoder system with 2.53 frame display buffer
AU7796998A (en) * 1997-05-30 1998-12-30 Sony Electronics Inc. Two pass decoding of mpeg b pictures for memory storage reduction
US5903311A (en) * 1997-05-30 1999-05-11 Sony Corporation Run level pair buffering for fast variable length decoder circuit
KR100269111B1 (ko) * 1997-06-27 2000-10-16 윤종용 비디오 디코딩과 출력 타이밍 제어방법 및 그 장치
US6198773B1 (en) 1997-12-18 2001-03-06 Zoran Corporation Video memory management for MPEG video decode and display system
US6765625B1 (en) * 1998-03-09 2004-07-20 Divio, Inc. Method and apparatus for bit-shuffling video data
JP3120773B2 (ja) * 1998-04-06 2000-12-25 日本電気株式会社 画像処理装置
US6970176B1 (en) 1998-06-23 2005-11-29 Van Der Meulen Pieter Sierd Video processing in PC uses statistically tuned color cube
FR2780185B1 (fr) * 1998-06-23 2000-08-11 St Microelectronics Sa Procede et dispositif de traitement d'images, comprimees notamment selon les normes mpeg
EP1758403A3 (en) * 1998-12-23 2007-09-26 Zoran Corporation Video memory management for MPEG video decode and display system
JP4486755B2 (ja) * 1998-12-23 2010-06-23 ゾラン コーポレイション Mpegビデオ復号・表示システムのためのビデオメモリ管理
US6658056B1 (en) 1999-03-30 2003-12-02 Sony Corporation Digital video decoding, buffering and frame-rate converting method and apparatus
US6246720B1 (en) * 1999-10-21 2001-06-12 Sony Corporation Of Japan Flexible software-based decoding system with decoupled decoding timing and output timing
JP2003515290A (ja) * 1999-11-17 2003-04-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Mpegビデオストリームの逆転再生
AU2001296326A1 (en) * 2000-09-27 2002-04-08 The Regents Of The University Of California Client-based interactive digital television architecture
KR100750096B1 (ko) * 2001-04-19 2007-08-21 삼성전자주식회사 효율적인 영상 처리를 위한 전/후처리 방법 및 그를적용한 전/후 처리 시스템
AU2003242037A1 (en) * 2002-07-02 2004-01-23 Matsushita Electric Industrial Co., Ltd. Image encoding method and image decoding method
JP2004159191A (ja) * 2002-11-07 2004-06-03 Seiko Epson Corp 画像データに応じたフレームレートの変換
US20040179610A1 (en) * 2003-02-21 2004-09-16 Jiuhuai Lu Apparatus and method employing a configurable reference and loop filter for efficient video coding
KR100693669B1 (ko) * 2003-03-03 2007-03-09 엘지전자 주식회사 피일드 매크로 블록의 레퍼런스 픽쳐 결정 방법
TWI244339B (en) * 2004-10-20 2005-11-21 Sunplus Technology Co Ltd Memory managing method and video data decoding method
US8559510B2 (en) * 2006-08-10 2013-10-15 Canon Kabushiki Kaisha Image decoding apparatus
JP4799504B2 (ja) * 2006-08-10 2011-10-26 キヤノン株式会社 画像復号化装置及びその制御方法
KR101187530B1 (ko) * 2011-03-02 2012-10-02 한국과학기술원 모노스코픽, 스테레오 스코픽 및 멀티뷰를 위한 렌더링 방법, 시스템 및 이를 위한 기록매체

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2653629B1 (fr) * 1989-10-20 1995-07-07 Europ Rech Electr Lab Dispositif de compensation de mouvement et recepteur de television comportant un tel dispositif.
EP0683615B1 (en) * 1990-10-31 1999-05-19 Victor Company Of Japan, Ltd. Compression method for interlace moving image signals
US5168356A (en) * 1991-02-27 1992-12-01 General Electric Company Apparatus for segmenting encoded video signal for transmission
US5317397A (en) * 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
JPH05137131A (ja) * 1991-11-13 1993-06-01 Sony Corp フレーム間動き予測方法
US5293229A (en) * 1992-03-27 1994-03-08 Matsushita Electric Corporation Of America Apparatus and method for processing groups of fields in a video data compression system

Also Published As

Publication number Publication date
FR2703535A1 (fr) 1994-10-07
JPH0723399A (ja) 1995-01-24
EP0618722B1 (fr) 1998-07-22
DE69411791T2 (de) 1999-02-25
DE69411791D1 (de) 1998-08-27
US5561465A (en) 1996-10-01
EP0618722A1 (fr) 1994-10-05

Similar Documents

Publication Publication Date Title
JP3623980B2 (ja) 圧縮されたフレームの復号方法及び装置
JP3943129B2 (ja) 3:2のプルダウンで映像をデコードしそして表示するメモリ利用法
US7333545B2 (en) Digital video decoding, buffering and frame-rate converting method and apparatus
US6002438A (en) Method and apparatus for storing decoded video information
US6301299B1 (en) Memory controller for an ATSC video decoder
US6104416A (en) Tiling in picture memory mapping to minimize memory bandwidth in compression and decompression of data sequences
US5701160A (en) Image encoding and decoding apparatus
EP1727090A1 (en) Method and system for digital decoding 3d stereoscopic video images
US5729303A (en) Memory control system and picture decoder using the same
US6028612A (en) Picture memory mapping to minimize memory bandwidth in compression and decompression of data sequences
JPH0818953A (ja) 動画像復号表示装置
KR100391038B1 (ko) 감소된메모리용량을요구하는압축비디오데이터디코딩방법
US5936670A (en) Method and device for decoding coded digital video signals
US5828425A (en) Apparatus for decoding video data
US6525783B1 (en) Video decoding system
EP0667717B1 (en) Method and apparatus for reproducing picture data
US5754243A (en) Letter-box transformation device
JP3869038B2 (ja) 復号化方法及び受信装置
JP3123938B2 (ja) 映像フレームデータを一メモリに貯蔵する方法
EP0632662A1 (en) Motion compensator for video coder/decoder
JPH08280022A (ja) 符号化ビデオ信号の復号化方法及び装置
WO2000059218A1 (en) Digital video decoding, buffering and frame-rate converting method and apparatus
US5113243A (en) Method of and device for decoding animated images
US5774590A (en) Image data reproducing apparatus
KR0130452B1 (ko) 영상복호장치

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040413

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040727

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041129

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081203

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091203

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091203

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091203

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091203

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101203

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101203

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111203

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111203

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121203

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121203

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121203

Year of fee payment: 8

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121203

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131203

Year of fee payment: 9

EXPY Cancellation because of completion of term