JP3918510B2 - 動画像符号化装置及び動画像符号化方法 - Google Patents
動画像符号化装置及び動画像符号化方法 Download PDFInfo
- Publication number
- JP3918510B2 JP3918510B2 JP2001334295A JP2001334295A JP3918510B2 JP 3918510 B2 JP3918510 B2 JP 3918510B2 JP 2001334295 A JP2001334295 A JP 2001334295A JP 2001334295 A JP2001334295 A JP 2001334295A JP 3918510 B2 JP3918510 B2 JP 3918510B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- image
- prediction
- gop
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は動画像符号化装置及び動画像符号化方法に係り、特に画像を効率的に伝送、蓄積、表示するために、画像情報をより少ない符号量でディジタル信号にする高能率符号化で、ピクチャ内独立、片方向予測、双方向予測の３種類の符号化手法を用いる動画像符号化において、符号化効率の低下を抑えながら符号列の編集を容易にする動画像符号化装置及び動画像符号化方法に関する。
【０００２】
【従来の技術】
従来より、動画像の高能率圧縮符号化方式としてＭＰＥＧ（Moving Picture Experts Group）方式が知られている。このＭＰＥＧ方式では、画像間予測の方法により３種類のピクチャタイプを持つ。Ｉピクチャと呼ばれるピクチャ内独立符号化ピクチャと、Ｐピクチャと呼ばれる片方向予測符号化（フレーム間又はフィールド間順方向予測符号化）ピクチャと、Ｂピクチャと呼ばれる双方向予測符号化ピクチャである。Ｉピクチャはランダムアクセスやチャンネル切替えに対応するもので、そこから復号が可能となる。ここで、ピクチャは動画像の１フレームないし１フィールドを指す。
【０００３】
符号列はピクチャが複数束ねられ、符号列群すなわちＧＯＰ（Group Of Picture）が形成される。このＧＯＰにおいては、Ｉピクチャがひとつは必ず入る形となる。通常のＧＯＰの構成は、Ｂピクチャから始まりＰピクチャで終わる。このピクチャ構成を図６（ａ）に示す。符号列においてＰ（Ｉ）ピクチャとＢピクチャの順番が入れ替わるため、このような構成となる。
【０００４】
一方、最初のＢピクチャは前のＧＯＰのＰピクチャからも予測されるため、画像間予測が途切れず符号列をＧＯＰ単位で入れ替えることができない。そこで、最初のＢピクチャを無くし、前ＧＯＰのＰピクチャの直後をＩピクチャとする方法がある。これはクローズド（Closed）ＧＯＰと呼ばれるもので、各ＧＯＰは前後ＧＯＰと関係なくなるため、ＧＯＰ単位で符号列の編集が可能になる。このＧＯＰ構成を図６（ｂ）に示す。この場合、最初の部分が周期的な処理でなくなるので、処理がやや面倒になる。また、符号量が少ないＢピクチャが削除されるので平均符号量が増加する。
【０００５】
一方、本発明者が先に特開平１１−１６４３０７号公報にて開示したように、主たる符号列とは別に副符号列として、ピクチャ内独立符号化された符号列を多重化する動画像符号化装置及び動画像復号化装置がある。この動画像符号化装置では、入力される動画像に対して、画像内独立符号化または画像間予測符号化をフレーム又はフィールド単位で切り替えて行い、得られた主符号列を出力する主符号化手段と、前記主符号化手段において画像間予測符号化が行われるフレーム又はフィールドのうち所定フレーム又はフィールドを、画像内独立符号化し、得られた副符号列を出力する副符号化手段と、前記所定フレーム又はフィールドの主符号列の隣接部に前記所定フレームまたはフィールドの副符号列を挿入し、多重化された符号列を得る符号列多重化手段とより構成したことを特徴とする。
【０００６】
また、上記の動画像復号化装置は、入力される符号列のタイプ（主符号列／副符号列）を符号列のヘッダーより検出し、符号列のタイプ情報を出力するタイプ検出手段と、前記符号列のタイプ情報に基づき、連続した画像の復号化が行われていない場合は、入力されるいずれの符号列も復号化処理に導き、連続した画像の復号化が行われている場合は、副符号列を放棄して主符号列のみを復号化処理に導く符号列制御手段と、前記符号列制御手段から与えられる符号列に対して、画像内復号化又は画像間予測復号化を行い、得られた再生画像を出力する復号化手段とを有する構成である。
【０００７】
【図１】
この本発明者の先の提案になる動画像符号化装置及び動画像復号化装置によれば、通常の復号化ではピクチャ内独立符号化された符号列は用いずに復号化し、ランダムアクセスやチャンネル切替え時にのみ、ピクチャ内独立符号化された符号列から復号化することが可能になる。
【０００８】
また、ピクチャ内独立符号化した局部復号画像とピクチャ間予測画像の両方を用いて画質を高める手法がある。例えば、本発明者が先に特開平５−１３０５９１号公報にて開示した動画像符号化装置では、ピクチャ内独立符号化の再生画像とピクチャ間予測画像を適応的に加算し、予測信号を形成するものである。
【０００９】
図７は従来の動画像符号化装置の一例のブロック図を示す。同図において、画像入力端子１より入来する動画像信号は、すべてがフレーム遅延器２に供給される一方、Ｉピクチャとして符号化する信号のみがスイッチ１９を介してＤＣＴ２０に供給される。フレーム遅延器２は、ＰピクチャをＢピクチャに先行して符号化するために、Ｂピクチャのみをフレーム時間遅延させる。順番が入れ替えられた各画像は、減算器３に与えられる。
【００１０】
フレーム遅延器２からの画像信号は、減算器３において後述する加算器９からの予測信号と減算されて予測残差とされてＤＣＴ４に入力される。ＤＣＴ４は予測残差に対して離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）の変換処理を行い、得られた係数を量子化器５に供給する。量子化器５は所定のステップ幅で入力係数を量子化し、固定長の符号となった係数を可変長符号化器６と逆量子化器１０に供給する。可変長符号化器６は、固定長の予測残差を可変長符号で圧縮して、得られた符号を多重化器１３に供給する。
【００１１】
一方、逆量子化器１０及び逆ＤＣＴ１１ではＤＣＴ４及び量子化器５の逆処理が行われ、予測残差を再生する。得られた再生予測残差は加算器１２で、加算器９からの予測信号と加算されて再生画像とされ、画像間予測器７に入力される。画像間予測器７はこの再生画像を参照画像として用いて画像間予測信号を形成し、乗算器８に供給する。乗算器８は、後述の特定画像設定器１８よりの制御情報に従って再生画像に０から１の値を乗じて、加算器９に供給する。
【００１２】
Ｉピクチャの符号化は、上記Ｐピクチャとして符号化される画像の内、周期的に設定した一部の画像について行う。Ｉピクチャの符号化は、予測残差に対する上記の処理と同様で、ＤＣＴ２０、量子化器２１及び可変長符号化器２２からなる回路部で符号化されるが、この処理はＩ（Ｐ）ピクチャに対するＤＣＴ４、量子化器５及び可変長符号化器６からなる回路部の処理と同様である。得られた符号は可変長符号化器２２から多重化器１３に入力される。
【００１３】
一方、逆量子化器１５及び逆ＤＣＴ１６ではＤＣＴ２０及び量子化器２１の逆処理が行われ、画像を再生する。得られた再生画像（Ｉピクチャ局部復号画像）は、乗算器１７に与えられる。乗算器１７は、後述する特定画像設定器１８からの制御情報に従って局部復号画像に０から１の値を乗じて、加算器９に供給する。
【００１４】
加算器９は、乗算器８からの画像間予測画像と、乗算器１７からのＩピクチャ局部復号画像とを加算して最終的な予測画像を得る。乗算器８の乗算係数と乗算器１７の乗算係数とは、それらの和が１となるもので、画像の相関により制御されてもよい。Ｉピクチャの無い非特定ピクチャでは乗算器８で１、乗算器１７で０が乗算され、通常のＰピクチャの処理となる。Ｂピクチャは予測の参照画像とならないので、この加算処理は関係ない。
【００１５】
特定画像設定器１８は所定周期毎のＰピクチャを特定ピクチャとして設定し、その制御情報をスイッチ１９、乗算器８、１７、多重化器１３に与える。多重化器１３は、特定ピクチャの情報と各ピクチャの符号列を多重化し、符号列出力端子１４より出力する。
【００１６】
次に、従来の動画像符号列について説明する。従来のＧＯＰ（画像群）の符号列構成は、通常のＧＯＰの場合は図８（ａ）に示すように、クローズド（Closed）ＧＯＰの場合は図８（ｂ）に示すようになる。図８で区切りは各ピクチャの符号列を示し、Ｉ、Ｂ、Ｐはピクチャタイプ、数字は再生表示ピクチャ番号である。符号列は、ＢピクチャとＰ（Ｉ）ピクチャの順番が逆転しているのが判る。その結果ＧＯＰの最後はＰピクチャにならず、その前のＢピクチャとなる。
【００１７】
通常のＧＯＰ構成の動画像符号列は、ＧＯＰ単位で編集を行うと最初のＢピクチャが復号化できなくなる。これはその前のＰピクチャが前のＧＯＰに属し、ＧＯＰ単位の編集によりＰピクチャが他の画像に変化してしまうので、正しい参照画像が得られなくなるためである。この場合、復号化装置でＢピクチャの画像を復号化しないようにするため、編集が行われていることを示すフラグ（Bloken Link）を立てる必要がある。
【００１８】
一方、クローズド（Closed）ＧＯＰ構成の動画像符号列は、最初のＢピクチャがないので、ＧＯＰ単位で編集を行っても復号化に影響しない。これは画像間予測がＧＯＰで閉じているためで、編集が行われていることを示すフラグ（Bloken
Link）を立てる必要はない。
【００１９】
図７に示した従来の動画像符号化装置に対応する従来の動画像復号化装置は、予測信号の形成において、図７の局部復号部分と同様に独立フレーム復号画像と画像間予測画像が適応的に加算する構成である。
【００２０】
一方、通常のＧＯＰ構成の動画像符号列で、ＧＯＰ単位で編集が行われ、ブロークンリンク（Bloken Link）フラグが立っている場合、復号化では、編集点以降でＩピクチャより前のＢピクチャは復号化せず、前の画像などで置き換える。クローズド（Closed）ＧＯＰ構成の動画像符号列では、ＧＯＰ単位での符号列編集の影響は受けないが、Ｐピクチャの周期が不連続となるので、それに応じた復号化処理が必要になる。
【００２１】
【発明が解決しようとする課題】
従来の動画像編集では、Ｉピクチャの周期で束ねられた符号列群、すなわちＧＯＰ（Group Of Picture）単位を持つ符号列の編集を行うが、通常のＧＯＰ構成では符号列の編集が困難であり、最初のＢピクチャがないクローズド（Closed）ＧＯＰ構成では、符号化効率が低下し、また、Ｐピクチャの周期が不連続になるという問題がある。
【００２２】
また、Ｐピクチャにおいて副符号列としてＩピクチャも持つ従来の手法は、ランダムアクセスなどには有効であるが、重複するＩピクチャ分だけ符号量が増加し、符号列編集に対応したＧＯＰ構造になっていない。
【００２３】
更に、同一フレームのＩピクチャ局部復号画像と画像間予測信号から予測信号を形成する従来の手法は、符号化効率は良いが、両方の符号列がないと復号化ができないので、符号列の編集はできない。
【００２４】
本発明は以上の点に鑑みなされたもので、所定ＰピクチャではＩピクチャも持ち、両者の再生画像を加算したものを再生画像とすることで、編集可能でありながら再生画像の画質を改善できる動画像符号化装置及び動画像符号化方法を提供することを目的とする。
【００２５】
【課題を解決するための手段】
上記の目的を達成するため、本発明の動画像符号化装置は、ピクチャ内独立、片方向予測、双方向予測の３種類の符号化手法で動画像の各ピクチャを符号化する動画像符号化装置において、入力画像信号を片方向予測又は双方向予測で符号化し、局部復号して片方向予測符号化の局部復号画像を得る第１の符号化局部復号化手段と、片方向予測で符号化されるピクチャの一部を特定ピクチャとし、特定ピクチャでは片方向予測符号化と共にピクチャ内独立でも符号化し、局部復号して、ピクチャ内独立符号化の局部復号画像を得る第２の符号化局部復号化手段と、特定ピクチャにおいて、片方向予測符号化の局部復号画像とピクチャ内独立符号化の局部復号画像を加算して、他ピクチャの画像間予測処理の参照画像とする画像間予測手段とを有する構成としたものである。
【００２６】
この発明では、特定ピクチャでは片方向予測符号化されたピクチャ符号列の他に、ピクチャ内独立符号化されたピクチャ符号列も持ち、これら２種類のピクチャ符号列が重複することになるが、両者の局部復号画像を加算することで、再生画像のＳ／Ｎを改善でき、また、その再生画像を画像間予測の参照画像とすることで、画像間予測効率も改善できる。
【００２７】
また、上記の目的を達成するため、本発明の動画像符号化方法は、ピクチャ内独立、片方向予測、双方向予測の３種類の符号化手法で動画像の各ピクチャを符号化する動画像符号化方法において、入力画像信号を片方向予測で符号化し、局部復号して片方向予測符号化の局部復号画像を得る第１のステップと、片方向予測で符号化されるピクチャの一部を特定ピクチャとし、特定ピクチャでは片方向予測符号化と共にピクチャ内独立でも符号化し、局部復号してピクチャ内独立符号化の局部復号画像を得る第２のステップと、特定ピクチャにおいて、片方向予測符号化の局部復号画像とピクチャ内独立符号化の局部復号画像を加算して、他ピクチャの画像間予測処理の参照画像とする第３のステップとを含むことを特徴とする。
【００２８】
この発明では、特定ピクチャでは片方向予測符号化されたピクチャ符号列の他に、ピクチャ内独立符号化されたピクチャ符号列も持ち、これら２種類のピクチャ符号列が重複することになるが、両者の局部復号画像を加算した信号を、他ピクチャの画像間予測処理の参照画像とすることで、再生画像のＳ／Ｎを改善でき、また、その再生画像を画像間予測の参照画像とすることで、画像間予測効率も改善できる。
【００３１】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。図１は本発明になる動画像符号化装置の一実施の形態のブロック図を示す。同図中、図７と同一構成部分には同一符号を付してある。また、本明細書中、「ピクチャ」とは、一つのフレームないしフィールドを指すものとする。
【００３２】
図１において、画像入力端子１より入来する動画像信号は、すべてがフレーム遅延器２に与えられ、Ｉピクチャとして符号化するもののみがスイッチ１９を介してＤＣＴ２０に与えられる。フレーム遅延器２は、ＰピクチャをＢピクチャに先行して符号化するために、Ｂピクチャのみを遅延させる。順番が入れ替えられた各画像は、減算器３に与えられる。
【００３３】
フレーム遅延器２により遅延された入力画像信号は、減算器３において画像間予測器２７から与えられる予測信号と減算され、予測残差とされてＤＣＴ４に入力される。ＤＣＴ４は予測残差に対してＤＣＴ（Discrete Cosine Transform）の変換処理を行い、得られた係数を量子化器５に与える。量子化器５は与えられた係数を所定のステップ幅で量子化し、固定長の符号となった係数を可変長符号化器６と逆量子化器１０に供給する。可変長符号化器６は、量子化器５からの固定長の予測残差を可変長符号で圧縮し、得られたＰピクチャ又はＢピクチャの可変長符号は多重化器１３に供給される。
【００３４】
一方、逆量子化器１０及び逆ＤＣＴ１１ではＤＣＴ４及び量子化器５の逆処理が行われ、予測残差を再生する。得られた再生予測残差は加算器１２において画像間予測器２７からの予測信号と加算されて局部復号画像となり、乗算器２５に供給される。乗算器２５は、特定画像設定器１８からの制御情報に従って局部復号画像に０から１の値を乗じて、加算器２６に供給する。
【００３５】
Ｉピクチャの符号化は、Ｐピクチャとして符号化される画像の内、周期的に設定した一部の画像について行う。このＩピクチャの符号化は、予測残差に対する上記の処理と同様にして行われる。すなわち、Ｉピクチャは、ＤＣＴ２０及び量子化器２１を通して可変長符号化器２２に入力されて可変長符号化されるが、この処理はＰ（Ｂ）ピクチャに対するＤＣＴ４、量子化器５及び可変長符号化器６の処理と同様である。可変長符号化器２２により得られたＩピクチャの可変長符号は多重化器１３に入力される。
【００３６】
一方、逆量子化器１５及び逆ＤＣＴ１６ではＤＣＴ２０及び量子化器２１の逆処理が行われ、局部復号画像を再生する。得られた局部復号画像は、乗算器１７に与えられる。乗算器１７は、特定画像設定器１８からの制御情報に従って局部復号画像に０から１の値を乗じて、加算器２６に供給する。
【００３７】
加算器２６は乗算器２５、１７からの２種類の局部復号画像を加算して画像間予測処理のための参照画像を得る。画像間予測器２７は、この参照画像を用いて画像間予測信号を形成する。この画像間予測信号は減算器３及び加算器１２にそれぞれ供給される。
【００３８】
特定画像設定器１８は所定周期毎のＰピクチャを特定ピクチャとして設定し、その制御情報をスイッチ１９、乗算器１７、２５、多重化器１３に与える。多重化器１３は、特定ピクチャの情報と各ピクチャの符号列を多重化し、符号列出力端子１４より出力する。スイッチ１９は上記の特定ピクチャのときにのみオンとされ、それ以外の非特定ピクチャのときにはオフとされる。
【００３９】
次に、加算器２６における２種類の局部復号画像の加算処理について説明する。まず、非特定ピクチャでは、Ｉピクチャはないので、乗算器２５は１を乗じ、乗算器１７は０を乗じる。すなわち一般的なＰピクチャの符号化と変わらない。なお、Ｂピクチャは参照画像とならないので、加算処理はそもそも関係しない。
【００４０】
一方、特定ピクチャでは、Ｐピクチャの局部復号画像とＩピクチャの局部復号画像の加算を行うために、乗算器２５と乗算器１７は共に係数０.５を入力局部復号画像に乗じる。互いの画像に含まれる雑音成分が白色雑音の場合は、加算により３ｄＢのＳ／Ｎが改善できるが、Ｐピクチャの局部復号画像のノイズ成分とＩピクチャの局部復号画像のノイズ成分は、それぞれ処理方法が異なるものの、高い周波数成分で量子化が粗くなっているなど共通点もあるので、雑音成分にも相関があり、３ｄＢの改善は得られない。しかし、同一ではないので、ある程度の改善は見込まれる。仮に半分の１.５ｄＢであるとすると、符号量でこれに見合う改善を行うためには３０％程度符号量を増加させる必要がある。
【００４１】
一般に、量子化器５、２１の各量子化ステップ幅を各々設定することで、ＩピクチャはＰピクチャより再生画像の品質を高めに設定する。これは、ＧＯＰのすべての画像の参照画像の基となるＩピクチャの品質を高めにすることが、ＧＯＰ全体の画質向上に寄与するためである。一方、Ｐピクチャの再生画像とＩピクチャの再生画像でＳ／Ｎが異なると、加算はあまり有効でなくなる。そこで、Ｉピクチャの符号量をある程度減らすと、ＰピクチャとＳ／Ｎが同等になり、最大の効果が得られる。
【００４２】
本発明は、通常のＧＯＰ構成に対しＰピクチャが追加されているので、その分符号量が多くなるが、Ｉピクチャの符号量を減らしてＳ／Ｎを下げても、ＩピクチャとＰピクチャの加算で参照画像のＳ／Ｎが保持できれば、再生画像、符号量共に通常のＧＯＰと同等となる。
【００４３】
ここで、発生符号量を通常ＧＯＰ及びクローズド（Closed）ＧＯＰと比較してみる。Ｉピクチャの平均符号量を１０００ｋｂｉｔ、Ｐピクチャの平均符号量を３００ｋｂｉｔ、Ｂピクチャの平均符号量を１００ｋｂｉｔとする。毎秒３０フレームの画像で、Ｐ（Ｉ）ピクチャの周期を３フレームとする通常ＧＯＰの場合、ＧＯＰの長さを１５フレームとすると、１秒中の各ピクチャ平均数から平均転送レートは６.４Ｍｂｐｓとなる。
【００４４】
一方、クローズド（Closed）ＧＯＰの場合は、ＧＯＰの大きさが通常ＧＯＰとは異なり、ＧＯＰの長さが１３フレームで平均転送レートが６.９２Ｍｂｐｓ、ＧＯＰの長さが１６フレームで平均転送レートが６.５６Ｍｂｐｓとなり、いずれも通常ＧＯＰに比べて平均転送レートが増加する。また、ＧＯＰの長さが１３フレームではアクセス性がやや向上するが、１６フレームの場合は低下する。両者から１５フレーム相当の符号量を得ると６.６８Ｍｂｐｓとなり、通常のＧＯＰに対して４．４％の符号量増加となる。
【００４５】
本実施の形態の場合は、Ｉピクチャの平均符号量を通常のＧＯＰやクローズドＧＯＰと同じとすると平均転送レートは７.０Ｍｂｐｓとなるが、３０％落として７００ｋｂｉｔとすると平均転送レートが６.４Ｍｂｐｓとなり、通常ＧＯＰの場合と同じになる。これは通常ＧＯＰのＩピクチャの符号量を、ＩピクチャとＰピクチャに割り振った形となる。
【００４６】
次に、動画像符号列について説明する。図１に示した符号化装置で符号化された符号列の形成において、特定ピクチャのＰピクチャ符号列をＧＯＰ（画像群）の最後にし、ＩピクチャをＧＯＰの最初にする。従って、特定ピクチャにおいては、Ｐピクチャ、Ｉピクチャの順で符号列が配置され、一つのＧＯＰで見るとＩピクチャで始まり、Ｐピクチャで終わる。この本実施の形態のＧＯＰ構成を図６（ｃ）に示す。
【００４７】
一方、符号列ではＢピクチャとＰ（Ｉ）ピクチャは逆転するので、最後はＰピクチャにならず、その前のＢピクチャとなる。すなわち、形成されるＧＯＰ（画像群）の符号列は、図８（ｃ）に示すように、特定ピクチャのピクチャ内独立符号化されたＩピクチャ符号列Ｉ１で始まり、次の特定ピクチャの直前にある双方向予測符号化されたＢピクチャ符号列Ｂ１５で終了する。
【００４８】
このＧＯＰ構成は、特定フレームの重複は無視して１ＧＯＰだけを比較するとクローズド（Closed）ＧＯＰと同様であり、特定フレームでＩピクチャまたはＰピクチャの一方を削除すると、削除された方によりＧＯＰの構成は変化するが、ピクチャの並びは通常ＧＯＰの並びと同様になる。すなわち、本実施の形態のＧＯＰは、クローズド（Closed）ＧＯＰと通常ＧＯＰの両方の特性を兼ね備えることができる。
【００４９】
前記動画像符号列は、クローズド（Closed）ＧＯＰの場合と同様にＧＯＰ単位で符号列の編集が可能になる。その様子を図２に示す。同図に示すように、１行目に示す符号列ＡのあるＧＯＰとＧＯＰの間に、３行目に示す符号列Ｂの１ＧＯＰが挿入されて、２行目に示すような編集された符号列が得られる。ここで、各ＧＯＰはその最初と最後が重複ピクチャとなっている。従って、従来の編集装置と処理が異なる。
【００５０】
まず、画像の長さについて、ＧＯＰの最後のＰピクチャは、ＧＯＰの長さ（時間）には組み入れないで、編集時間の計算を行う。従って、本実施の形態のＧＯＰ構成の符号列が１６フレームであっても、１５フレームと見なす。
【００５１】
次に、特定ピクチャの再生制御で、ＧＯＰ単位で編集を行った場合、編集点となる特定ピクチャは、前のＧＯＰのＰピクチャ、後のＧＯＰのＩピクチャいずれもが復号化再生可能である。一方、編集が行われているので画像内容は異なる。符号列が重複する点を積極的に利用する方法としては、再生時にどちらの画像を出力するか、制御情報を入れておけば、同じ符号列で編集点を１ピクチャ前後させることができる。
【００５２】
また、従来クローズド（Closed）ＧＯＰでは復号化装置で処理変更がないので、編集が行われていることを示すフラグ（Bloken Link）を立てる必要はなかったが、本手法においては復号化処理を切り替える必要があるので、ブロークンリンク（Bloken Link）のフラグを立てる必要がある。
【００５３】
次に、動画像復号化装置の各例について説明する。図３は動画像復号化装置の一例のブロック図を示す。この動画像復号化装置は、図１に示した本発明の動画像符号化装置の一実施の形態に対応する復号化装置の構成を示しており、これは編集が行われてない画像連続性が保たれた符号列の場合である。
【００５４】
図３において、符号列入力端子３１より入来する符号列は、多重化分離器３２によりピクチャのヘッダに基づきＩピクチャの符号列とそれ以外の符号列に分離される。ＰピクチャやＢピクチャの符号列は、可変長復号化器３３に供給され、Ｉピクチャの符号列は可変長復号化器３４に供給される。
【００５５】
Ｐ（Ｂ）ピクチャの符号列は、可変長復号化器３３で予測残差の可変長符号が固定長の符号に戻され、逆量子化器３５に供給される。逆量子化器３５は、入力された固定長符号を、量子化パラメータに従って逆量子化して予測残差の再生ＤＣＴ係数値を得、これを逆ＤＣＴ３６に供給する。
【００５６】
逆ＤＣＴ３６は８×８個の係数を復号予測残差信号に変換し、加算器３７に供給する。加算器３７は上記の復号予測残差信号に、画像間予測器４５から与えられる予測信号を加算して復号画像信号を得る。この様にして得られたＰ（Ｂ）ピクチャの復号画像信号は、乗算器４２に供給される。
【００５７】
一方、多重化分離器３２で分離されたＩピクチャの符号列は、可変長復号化器３４で復号化され、逆量子化器３８で逆量子化され、逆ＤＣＴ３９で復号化されて再生画像信号とされた後、乗算器４１に入力される。可変長復号化器３４、逆量子化器３８、逆ＤＣＴ３９の動作は、可変長復号化器３３、逆量子化器３５、逆ＤＣＴ３６と同様であるが、パラメータはＩピクチャ用のものとなる。
【００５８】
また、多重分離器３２は入力された符号列中のピクチャヘッダからピクチャのＩＤを検出して、その結果情報が特定画像制御器４０に供給される。特定画像制御器４０は、特定ピクチャを検出し、その制御情報を乗算器４１及び４２にそれぞれ供給する。乗算器４１は、上記の制御情報に従って逆ＤＣＴ３９からの再生画像信号に０から１の値を乗じて、加算器４３に与える。他方、乗算器４２は、上記の制御情報に従って加算器３７からのＰ（Ｂ）ピクチャの復号画像信号に０から１の値を乗じて、加算器４３に与える。
【００５９】
加算器４３は、乗算器４１及び４２から取り出された２種類の復号画像信号を加算して再生画像信号を得る。加算器４３による加算は特定ピクチャのみで行われ、このとき乗算器４１、乗算器４２共に係数０．５が乗算される。それ以外では、乗算器４２で係数１と復号画像信号との乗算が、乗算器４１で係数０と復号画像信号との乗算がそれぞれ行われるため、加算器４３からは加算器３７からのＰ（Ｂ）ピクチャの復号画像信号がそのまま出力される。
【００６０】
特定ピクチャでは再生画像信号は加算器４３での加算により、乗算器４１、４２から取り出された各復号画像信号よりＳ／Ｎが改善されたものとなる。このような復号化の様子を図４（ａ）に示す。
【００６１】
加算器４３から出力された再生画像信号は、Ｂピクチャではスイッチ４６を介して再生画像出力端子４７よりそのまま出力される。一方、加算器４３から出力された再生画像信号は、Ｐ（Ｉ）ピクチャでは画像メモリ４４にいったん蓄えられ、画像間予測処理のための参照画像とされると共に遅延させられた後、画像間予測器２２に供給され、ここでこの参照画像を用いて予測信号とされて加算器３７に入力される。スイッチ４６は遅延されたＢピクチャと、画像メモリ４４で遅延されたＰ（Ｉ）ピクチャを選択して出力端子４７へ出力する。
【００６２】
次に、動画像復号化装置の他の例について説明する。図５は図１の動画像符号化装置に対応する動画像復号化装置の他の例のブロック図を示す。図５中、図３と同一構成部分には同一符号を付し、その説明を省略する。図５の復号化装置は符号列編集が行われ、画像連続性が保たれない場合の復号化を行う装置である。
【００６３】
加算器３７から出力されるＢピクチャの復号画像信号は、スイッチ５１を介して再生画像出力端子４７よりそのまま出力される。一方、加算器３７から出力されるＰピクチャの復号画像信号は、画像メモリ４８に一旦保持される。また、逆ＤＣＴ３９から出力されるＩピクチャの復号画像信号は、画像メモリ４９に一旦保持される。
【００６４】
ここで、ＧＯＰは編集が行われているので、特定ピクチャのＰピクチャとＩピクチャは形式的に同一ピクチャとなっているが、Ｐピクチャは前ＧＯＰのものであり、Ｉピクチャは後のＧＯＰのものである。そこでスイッチ５０は、画像メモリ４８及び４９からの２種類の復号画像信号から次のように参照画像として適切な方を選択する。
【００６５】
特定ピクチャの復号化の次には、前ＧＯＰのＢピクチャの復号化が行われるが、それには画像メモリ４８に保持されているＰピクチャの復号画像を選択する。続けて、次のＧＯＰのＰピクチャ及びＢピクチャの復号化では、画像メモリ４９に保持されているＩピクチャの復号画像を選択する。この場合の復号化の様子を図４（ｂ）に示す。図で矢印は画像間予測の関係である。
【００６６】
図５に示した復号化装置の復号化では、画像間予測の参照画像が符号化装置の参照画像と若干異なることになるが、いずれも同一画像に対する復号画像であり、量子化雑音成分以外の元の画像は共通である。参照画像の変化は、編集点直前は２ピクチャのみ、編集点後は１ＧＯＰに影響する。しかし、編集点後は予測残差成分が順次加算されるので、参照画像変化の影響は次第に少なくなる。一方、視覚特性を考慮すると、編集でシーンが変わった場合、劣化にはかなり気づき難く、特に変化直後は０.１秒程度の間検知能力が大きく低下するといわれている。従って、劣化の視覚的影響は極めて小さい。
【００６７】
再生画像出力は、スイッチ５１で選択される。スイッチ５１の動作で特定ピクチャ以外は図３のスイッチ４６と同様である。特定フレームではＩピクチャとＰピクチャのいずれを出力することも可能であるので、どちらを選択するかあらかじめ決められていてもよいが、符号列編集装置にて符号列に制御情報が入れられている場合は、それに従って制御する。
【００６８】
なお、以上の実施の形態では、動画像符号化装置及び方法について説明したが、本発明はこれに限定されるものではなく、片方向予測で符号化されるピクチャの一部を特定ピクチャとし、その特定ピクチャでは片方向予測符号化と共にピクチャ内独立でも符号化した符号列があり、特定ピクチャのピクチャ内独立符号化された符号列で始まり、特定ピクチャの直前のピクチャの双方向予測符号化された符号列で終了する符号列を一つの符号列群とし、この符号列群単位で合成された符号列を、所望の伝送路を介して伝送するようにしてもよい。
【００６９】
【発明の効果】
以上説明したように、本発明によれば、特定ピクチャでは片方向予測符号化されたピクチャ符号列の他に、ピクチャ内独立符号化されたピクチャ符号列も持ち、これら２種類のピクチャ符号列が重複することになるが、両者の局部復号画像を加算することで、再生画像のＳ／Ｎを改善するようにしたため、再生画像の画質を改善できる。また、その再生画像を画像間予測の参照画像とすることで、画像間予測効率も改善するようにしたため、上記の特定ピクチャではその分総符号量を減らすこともできる。
【００７０】
また、本発明によれば、符号列の群（ＧＯＰ）構成を特定ピクチャに含まれる片方向予測符号化ピクチャと、ピクチャ内独立符号化ピクチャの間で区切る構成とすることにより、ＧＯＰ単位で符号列が編集された場合の不連続点では、復号化装置においてＧＯＰ終端は片方向予測符号化ピクチャを、ＧＯＰ始端はピクチャ内独立符号化ピクチャを参照画像として他ピクチャの画像間予測を行うようにしたため、通常ＧＯＰと同等の符号化効率で片方向予測符号化ピクチャの周期性を保ちながら、クローズド（Closed）ＧＯＰ同様に、ＧＯＰ単位の符号列編集ができる符号列を生成することができる。
【図面の簡単な説明】
【図１】 本発明の動画像符号化装置の一実施の形態のブロック図である。
【図２】 動画符号列の編集の様子の一例を示す図である。
【図３】 動画像復号化装置の一例のブロック図である。
【図４】 復号化の各例をピクチャ単位で示す図である。
【図５】 動画像復号化装置の他の例のブロック図である。
【図６】 ＧＯＰ構成の各例を示す図である。
【図７】 従来の動画像符号化装置の一例のブロック図である。
【図８】 ＧＯＰ（画像群）の符号列構成の各例を示す図である。
【符号の説明】
１ 画像入力端子
２ フレーム遅延器
３ 減算器
４、２０ ＤＣＴ
５、２１ 量子化器
６、２２ 可変長符号化器
１０、１５、３５、３８ 逆量子化器
１１、１６、３６、３９ 逆ＤＣＴ
１２、２６、３７、４３ 加算器
１３ 多重化器
１４ 符号列出力端子
１７、２５、４１、４２ 乗算器
１８ 特定画像設定器
１９、４６ スイッチ
２７、４５ 画像間予測器
３１ 符号列入力端子
３２ 多重化分離器
３３、３４ 可変長復号化器
４０ 特定画像制御器
４７ 再生画像出力端子
【発明の属する技術分野】
本発明は動画像符号化装置及び動画像符号化方法に係り、特に画像を効率的に伝送、蓄積、表示するために、画像情報をより少ない符号量でディジタル信号にする高能率符号化で、ピクチャ内独立、片方向予測、双方向予測の３種類の符号化手法を用いる動画像符号化において、符号化効率の低下を抑えながら符号列の編集を容易にする動画像符号化装置及び動画像符号化方法に関する。
【０００２】
【従来の技術】
従来より、動画像の高能率圧縮符号化方式としてＭＰＥＧ（Moving Picture Experts Group）方式が知られている。このＭＰＥＧ方式では、画像間予測の方法により３種類のピクチャタイプを持つ。Ｉピクチャと呼ばれるピクチャ内独立符号化ピクチャと、Ｐピクチャと呼ばれる片方向予測符号化（フレーム間又はフィールド間順方向予測符号化）ピクチャと、Ｂピクチャと呼ばれる双方向予測符号化ピクチャである。Ｉピクチャはランダムアクセスやチャンネル切替えに対応するもので、そこから復号が可能となる。ここで、ピクチャは動画像の１フレームないし１フィールドを指す。
【０００３】
符号列はピクチャが複数束ねられ、符号列群すなわちＧＯＰ（Group Of Picture）が形成される。このＧＯＰにおいては、Ｉピクチャがひとつは必ず入る形となる。通常のＧＯＰの構成は、Ｂピクチャから始まりＰピクチャで終わる。このピクチャ構成を図６（ａ）に示す。符号列においてＰ（Ｉ）ピクチャとＢピクチャの順番が入れ替わるため、このような構成となる。
【０００４】
一方、最初のＢピクチャは前のＧＯＰのＰピクチャからも予測されるため、画像間予測が途切れず符号列をＧＯＰ単位で入れ替えることができない。そこで、最初のＢピクチャを無くし、前ＧＯＰのＰピクチャの直後をＩピクチャとする方法がある。これはクローズド（Closed）ＧＯＰと呼ばれるもので、各ＧＯＰは前後ＧＯＰと関係なくなるため、ＧＯＰ単位で符号列の編集が可能になる。このＧＯＰ構成を図６（ｂ）に示す。この場合、最初の部分が周期的な処理でなくなるので、処理がやや面倒になる。また、符号量が少ないＢピクチャが削除されるので平均符号量が増加する。
【０００５】
一方、本発明者が先に特開平１１−１６４３０７号公報にて開示したように、主たる符号列とは別に副符号列として、ピクチャ内独立符号化された符号列を多重化する動画像符号化装置及び動画像復号化装置がある。この動画像符号化装置では、入力される動画像に対して、画像内独立符号化または画像間予測符号化をフレーム又はフィールド単位で切り替えて行い、得られた主符号列を出力する主符号化手段と、前記主符号化手段において画像間予測符号化が行われるフレーム又はフィールドのうち所定フレーム又はフィールドを、画像内独立符号化し、得られた副符号列を出力する副符号化手段と、前記所定フレーム又はフィールドの主符号列の隣接部に前記所定フレームまたはフィールドの副符号列を挿入し、多重化された符号列を得る符号列多重化手段とより構成したことを特徴とする。
【０００６】
また、上記の動画像復号化装置は、入力される符号列のタイプ（主符号列／副符号列）を符号列のヘッダーより検出し、符号列のタイプ情報を出力するタイプ検出手段と、前記符号列のタイプ情報に基づき、連続した画像の復号化が行われていない場合は、入力されるいずれの符号列も復号化処理に導き、連続した画像の復号化が行われている場合は、副符号列を放棄して主符号列のみを復号化処理に導く符号列制御手段と、前記符号列制御手段から与えられる符号列に対して、画像内復号化又は画像間予測復号化を行い、得られた再生画像を出力する復号化手段とを有する構成である。
【０００７】
【図１】
この本発明者の先の提案になる動画像符号化装置及び動画像復号化装置によれば、通常の復号化ではピクチャ内独立符号化された符号列は用いずに復号化し、ランダムアクセスやチャンネル切替え時にのみ、ピクチャ内独立符号化された符号列から復号化することが可能になる。
【０００８】
また、ピクチャ内独立符号化した局部復号画像とピクチャ間予測画像の両方を用いて画質を高める手法がある。例えば、本発明者が先に特開平５−１３０５９１号公報にて開示した動画像符号化装置では、ピクチャ内独立符号化の再生画像とピクチャ間予測画像を適応的に加算し、予測信号を形成するものである。
【０００９】
図７は従来の動画像符号化装置の一例のブロック図を示す。同図において、画像入力端子１より入来する動画像信号は、すべてがフレーム遅延器２に供給される一方、Ｉピクチャとして符号化する信号のみがスイッチ１９を介してＤＣＴ２０に供給される。フレーム遅延器２は、ＰピクチャをＢピクチャに先行して符号化するために、Ｂピクチャのみをフレーム時間遅延させる。順番が入れ替えられた各画像は、減算器３に与えられる。
【００１０】
フレーム遅延器２からの画像信号は、減算器３において後述する加算器９からの予測信号と減算されて予測残差とされてＤＣＴ４に入力される。ＤＣＴ４は予測残差に対して離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）の変換処理を行い、得られた係数を量子化器５に供給する。量子化器５は所定のステップ幅で入力係数を量子化し、固定長の符号となった係数を可変長符号化器６と逆量子化器１０に供給する。可変長符号化器６は、固定長の予測残差を可変長符号で圧縮して、得られた符号を多重化器１３に供給する。
【００１１】
一方、逆量子化器１０及び逆ＤＣＴ１１ではＤＣＴ４及び量子化器５の逆処理が行われ、予測残差を再生する。得られた再生予測残差は加算器１２で、加算器９からの予測信号と加算されて再生画像とされ、画像間予測器７に入力される。画像間予測器７はこの再生画像を参照画像として用いて画像間予測信号を形成し、乗算器８に供給する。乗算器８は、後述の特定画像設定器１８よりの制御情報に従って再生画像に０から１の値を乗じて、加算器９に供給する。
【００１２】
Ｉピクチャの符号化は、上記Ｐピクチャとして符号化される画像の内、周期的に設定した一部の画像について行う。Ｉピクチャの符号化は、予測残差に対する上記の処理と同様で、ＤＣＴ２０、量子化器２１及び可変長符号化器２２からなる回路部で符号化されるが、この処理はＩ（Ｐ）ピクチャに対するＤＣＴ４、量子化器５及び可変長符号化器６からなる回路部の処理と同様である。得られた符号は可変長符号化器２２から多重化器１３に入力される。
【００１３】
一方、逆量子化器１５及び逆ＤＣＴ１６ではＤＣＴ２０及び量子化器２１の逆処理が行われ、画像を再生する。得られた再生画像（Ｉピクチャ局部復号画像）は、乗算器１７に与えられる。乗算器１７は、後述する特定画像設定器１８からの制御情報に従って局部復号画像に０から１の値を乗じて、加算器９に供給する。
【００１４】
加算器９は、乗算器８からの画像間予測画像と、乗算器１７からのＩピクチャ局部復号画像とを加算して最終的な予測画像を得る。乗算器８の乗算係数と乗算器１７の乗算係数とは、それらの和が１となるもので、画像の相関により制御されてもよい。Ｉピクチャの無い非特定ピクチャでは乗算器８で１、乗算器１７で０が乗算され、通常のＰピクチャの処理となる。Ｂピクチャは予測の参照画像とならないので、この加算処理は関係ない。
【００１５】
特定画像設定器１８は所定周期毎のＰピクチャを特定ピクチャとして設定し、その制御情報をスイッチ１９、乗算器８、１７、多重化器１３に与える。多重化器１３は、特定ピクチャの情報と各ピクチャの符号列を多重化し、符号列出力端子１４より出力する。
【００１６】
次に、従来の動画像符号列について説明する。従来のＧＯＰ（画像群）の符号列構成は、通常のＧＯＰの場合は図８（ａ）に示すように、クローズド（Closed）ＧＯＰの場合は図８（ｂ）に示すようになる。図８で区切りは各ピクチャの符号列を示し、Ｉ、Ｂ、Ｐはピクチャタイプ、数字は再生表示ピクチャ番号である。符号列は、ＢピクチャとＰ（Ｉ）ピクチャの順番が逆転しているのが判る。その結果ＧＯＰの最後はＰピクチャにならず、その前のＢピクチャとなる。
【００１７】
通常のＧＯＰ構成の動画像符号列は、ＧＯＰ単位で編集を行うと最初のＢピクチャが復号化できなくなる。これはその前のＰピクチャが前のＧＯＰに属し、ＧＯＰ単位の編集によりＰピクチャが他の画像に変化してしまうので、正しい参照画像が得られなくなるためである。この場合、復号化装置でＢピクチャの画像を復号化しないようにするため、編集が行われていることを示すフラグ（Bloken Link）を立てる必要がある。
【００１８】
一方、クローズド（Closed）ＧＯＰ構成の動画像符号列は、最初のＢピクチャがないので、ＧＯＰ単位で編集を行っても復号化に影響しない。これは画像間予測がＧＯＰで閉じているためで、編集が行われていることを示すフラグ（Bloken
Link）を立てる必要はない。
【００１９】
図７に示した従来の動画像符号化装置に対応する従来の動画像復号化装置は、予測信号の形成において、図７の局部復号部分と同様に独立フレーム復号画像と画像間予測画像が適応的に加算する構成である。
【００２０】
一方、通常のＧＯＰ構成の動画像符号列で、ＧＯＰ単位で編集が行われ、ブロークンリンク（Bloken Link）フラグが立っている場合、復号化では、編集点以降でＩピクチャより前のＢピクチャは復号化せず、前の画像などで置き換える。クローズド（Closed）ＧＯＰ構成の動画像符号列では、ＧＯＰ単位での符号列編集の影響は受けないが、Ｐピクチャの周期が不連続となるので、それに応じた復号化処理が必要になる。
【００２１】
【発明が解決しようとする課題】
従来の動画像編集では、Ｉピクチャの周期で束ねられた符号列群、すなわちＧＯＰ（Group Of Picture）単位を持つ符号列の編集を行うが、通常のＧＯＰ構成では符号列の編集が困難であり、最初のＢピクチャがないクローズド（Closed）ＧＯＰ構成では、符号化効率が低下し、また、Ｐピクチャの周期が不連続になるという問題がある。
【００２２】
また、Ｐピクチャにおいて副符号列としてＩピクチャも持つ従来の手法は、ランダムアクセスなどには有効であるが、重複するＩピクチャ分だけ符号量が増加し、符号列編集に対応したＧＯＰ構造になっていない。
【００２３】
更に、同一フレームのＩピクチャ局部復号画像と画像間予測信号から予測信号を形成する従来の手法は、符号化効率は良いが、両方の符号列がないと復号化ができないので、符号列の編集はできない。
【００２４】
本発明は以上の点に鑑みなされたもので、所定ＰピクチャではＩピクチャも持ち、両者の再生画像を加算したものを再生画像とすることで、編集可能でありながら再生画像の画質を改善できる動画像符号化装置及び動画像符号化方法を提供することを目的とする。
【００２５】
【課題を解決するための手段】
上記の目的を達成するため、本発明の動画像符号化装置は、ピクチャ内独立、片方向予測、双方向予測の３種類の符号化手法で動画像の各ピクチャを符号化する動画像符号化装置において、入力画像信号を片方向予測又は双方向予測で符号化し、局部復号して片方向予測符号化の局部復号画像を得る第１の符号化局部復号化手段と、片方向予測で符号化されるピクチャの一部を特定ピクチャとし、特定ピクチャでは片方向予測符号化と共にピクチャ内独立でも符号化し、局部復号して、ピクチャ内独立符号化の局部復号画像を得る第２の符号化局部復号化手段と、特定ピクチャにおいて、片方向予測符号化の局部復号画像とピクチャ内独立符号化の局部復号画像を加算して、他ピクチャの画像間予測処理の参照画像とする画像間予測手段とを有する構成としたものである。
【００２６】
この発明では、特定ピクチャでは片方向予測符号化されたピクチャ符号列の他に、ピクチャ内独立符号化されたピクチャ符号列も持ち、これら２種類のピクチャ符号列が重複することになるが、両者の局部復号画像を加算することで、再生画像のＳ／Ｎを改善でき、また、その再生画像を画像間予測の参照画像とすることで、画像間予測効率も改善できる。
【００２７】
また、上記の目的を達成するため、本発明の動画像符号化方法は、ピクチャ内独立、片方向予測、双方向予測の３種類の符号化手法で動画像の各ピクチャを符号化する動画像符号化方法において、入力画像信号を片方向予測で符号化し、局部復号して片方向予測符号化の局部復号画像を得る第１のステップと、片方向予測で符号化されるピクチャの一部を特定ピクチャとし、特定ピクチャでは片方向予測符号化と共にピクチャ内独立でも符号化し、局部復号してピクチャ内独立符号化の局部復号画像を得る第２のステップと、特定ピクチャにおいて、片方向予測符号化の局部復号画像とピクチャ内独立符号化の局部復号画像を加算して、他ピクチャの画像間予測処理の参照画像とする第３のステップとを含むことを特徴とする。
【００２８】
この発明では、特定ピクチャでは片方向予測符号化されたピクチャ符号列の他に、ピクチャ内独立符号化されたピクチャ符号列も持ち、これら２種類のピクチャ符号列が重複することになるが、両者の局部復号画像を加算した信号を、他ピクチャの画像間予測処理の参照画像とすることで、再生画像のＳ／Ｎを改善でき、また、その再生画像を画像間予測の参照画像とすることで、画像間予測効率も改善できる。
【００３１】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。図１は本発明になる動画像符号化装置の一実施の形態のブロック図を示す。同図中、図７と同一構成部分には同一符号を付してある。また、本明細書中、「ピクチャ」とは、一つのフレームないしフィールドを指すものとする。
【００３２】
図１において、画像入力端子１より入来する動画像信号は、すべてがフレーム遅延器２に与えられ、Ｉピクチャとして符号化するもののみがスイッチ１９を介してＤＣＴ２０に与えられる。フレーム遅延器２は、ＰピクチャをＢピクチャに先行して符号化するために、Ｂピクチャのみを遅延させる。順番が入れ替えられた各画像は、減算器３に与えられる。
【００３３】
フレーム遅延器２により遅延された入力画像信号は、減算器３において画像間予測器２７から与えられる予測信号と減算され、予測残差とされてＤＣＴ４に入力される。ＤＣＴ４は予測残差に対してＤＣＴ（Discrete Cosine Transform）の変換処理を行い、得られた係数を量子化器５に与える。量子化器５は与えられた係数を所定のステップ幅で量子化し、固定長の符号となった係数を可変長符号化器６と逆量子化器１０に供給する。可変長符号化器６は、量子化器５からの固定長の予測残差を可変長符号で圧縮し、得られたＰピクチャ又はＢピクチャの可変長符号は多重化器１３に供給される。
【００３４】
一方、逆量子化器１０及び逆ＤＣＴ１１ではＤＣＴ４及び量子化器５の逆処理が行われ、予測残差を再生する。得られた再生予測残差は加算器１２において画像間予測器２７からの予測信号と加算されて局部復号画像となり、乗算器２５に供給される。乗算器２５は、特定画像設定器１８からの制御情報に従って局部復号画像に０から１の値を乗じて、加算器２６に供給する。
【００３５】
Ｉピクチャの符号化は、Ｐピクチャとして符号化される画像の内、周期的に設定した一部の画像について行う。このＩピクチャの符号化は、予測残差に対する上記の処理と同様にして行われる。すなわち、Ｉピクチャは、ＤＣＴ２０及び量子化器２１を通して可変長符号化器２２に入力されて可変長符号化されるが、この処理はＰ（Ｂ）ピクチャに対するＤＣＴ４、量子化器５及び可変長符号化器６の処理と同様である。可変長符号化器２２により得られたＩピクチャの可変長符号は多重化器１３に入力される。
【００３６】
一方、逆量子化器１５及び逆ＤＣＴ１６ではＤＣＴ２０及び量子化器２１の逆処理が行われ、局部復号画像を再生する。得られた局部復号画像は、乗算器１７に与えられる。乗算器１７は、特定画像設定器１８からの制御情報に従って局部復号画像に０から１の値を乗じて、加算器２６に供給する。
【００３７】
加算器２６は乗算器２５、１７からの２種類の局部復号画像を加算して画像間予測処理のための参照画像を得る。画像間予測器２７は、この参照画像を用いて画像間予測信号を形成する。この画像間予測信号は減算器３及び加算器１２にそれぞれ供給される。
【００３８】
特定画像設定器１８は所定周期毎のＰピクチャを特定ピクチャとして設定し、その制御情報をスイッチ１９、乗算器１７、２５、多重化器１３に与える。多重化器１３は、特定ピクチャの情報と各ピクチャの符号列を多重化し、符号列出力端子１４より出力する。スイッチ１９は上記の特定ピクチャのときにのみオンとされ、それ以外の非特定ピクチャのときにはオフとされる。
【００３９】
次に、加算器２６における２種類の局部復号画像の加算処理について説明する。まず、非特定ピクチャでは、Ｉピクチャはないので、乗算器２５は１を乗じ、乗算器１７は０を乗じる。すなわち一般的なＰピクチャの符号化と変わらない。なお、Ｂピクチャは参照画像とならないので、加算処理はそもそも関係しない。
【００４０】
一方、特定ピクチャでは、Ｐピクチャの局部復号画像とＩピクチャの局部復号画像の加算を行うために、乗算器２５と乗算器１７は共に係数０.５を入力局部復号画像に乗じる。互いの画像に含まれる雑音成分が白色雑音の場合は、加算により３ｄＢのＳ／Ｎが改善できるが、Ｐピクチャの局部復号画像のノイズ成分とＩピクチャの局部復号画像のノイズ成分は、それぞれ処理方法が異なるものの、高い周波数成分で量子化が粗くなっているなど共通点もあるので、雑音成分にも相関があり、３ｄＢの改善は得られない。しかし、同一ではないので、ある程度の改善は見込まれる。仮に半分の１.５ｄＢであるとすると、符号量でこれに見合う改善を行うためには３０％程度符号量を増加させる必要がある。
【００４１】
一般に、量子化器５、２１の各量子化ステップ幅を各々設定することで、ＩピクチャはＰピクチャより再生画像の品質を高めに設定する。これは、ＧＯＰのすべての画像の参照画像の基となるＩピクチャの品質を高めにすることが、ＧＯＰ全体の画質向上に寄与するためである。一方、Ｐピクチャの再生画像とＩピクチャの再生画像でＳ／Ｎが異なると、加算はあまり有効でなくなる。そこで、Ｉピクチャの符号量をある程度減らすと、ＰピクチャとＳ／Ｎが同等になり、最大の効果が得られる。
【００４２】
本発明は、通常のＧＯＰ構成に対しＰピクチャが追加されているので、その分符号量が多くなるが、Ｉピクチャの符号量を減らしてＳ／Ｎを下げても、ＩピクチャとＰピクチャの加算で参照画像のＳ／Ｎが保持できれば、再生画像、符号量共に通常のＧＯＰと同等となる。
【００４３】
ここで、発生符号量を通常ＧＯＰ及びクローズド（Closed）ＧＯＰと比較してみる。Ｉピクチャの平均符号量を１０００ｋｂｉｔ、Ｐピクチャの平均符号量を３００ｋｂｉｔ、Ｂピクチャの平均符号量を１００ｋｂｉｔとする。毎秒３０フレームの画像で、Ｐ（Ｉ）ピクチャの周期を３フレームとする通常ＧＯＰの場合、ＧＯＰの長さを１５フレームとすると、１秒中の各ピクチャ平均数から平均転送レートは６.４Ｍｂｐｓとなる。
【００４４】
一方、クローズド（Closed）ＧＯＰの場合は、ＧＯＰの大きさが通常ＧＯＰとは異なり、ＧＯＰの長さが１３フレームで平均転送レートが６.９２Ｍｂｐｓ、ＧＯＰの長さが１６フレームで平均転送レートが６.５６Ｍｂｐｓとなり、いずれも通常ＧＯＰに比べて平均転送レートが増加する。また、ＧＯＰの長さが１３フレームではアクセス性がやや向上するが、１６フレームの場合は低下する。両者から１５フレーム相当の符号量を得ると６.６８Ｍｂｐｓとなり、通常のＧＯＰに対して４．４％の符号量増加となる。
【００４５】
本実施の形態の場合は、Ｉピクチャの平均符号量を通常のＧＯＰやクローズドＧＯＰと同じとすると平均転送レートは７.０Ｍｂｐｓとなるが、３０％落として７００ｋｂｉｔとすると平均転送レートが６.４Ｍｂｐｓとなり、通常ＧＯＰの場合と同じになる。これは通常ＧＯＰのＩピクチャの符号量を、ＩピクチャとＰピクチャに割り振った形となる。
【００４６】
次に、動画像符号列について説明する。図１に示した符号化装置で符号化された符号列の形成において、特定ピクチャのＰピクチャ符号列をＧＯＰ（画像群）の最後にし、ＩピクチャをＧＯＰの最初にする。従って、特定ピクチャにおいては、Ｐピクチャ、Ｉピクチャの順で符号列が配置され、一つのＧＯＰで見るとＩピクチャで始まり、Ｐピクチャで終わる。この本実施の形態のＧＯＰ構成を図６（ｃ）に示す。
【００４７】
一方、符号列ではＢピクチャとＰ（Ｉ）ピクチャは逆転するので、最後はＰピクチャにならず、その前のＢピクチャとなる。すなわち、形成されるＧＯＰ（画像群）の符号列は、図８（ｃ）に示すように、特定ピクチャのピクチャ内独立符号化されたＩピクチャ符号列Ｉ１で始まり、次の特定ピクチャの直前にある双方向予測符号化されたＢピクチャ符号列Ｂ１５で終了する。
【００４８】
このＧＯＰ構成は、特定フレームの重複は無視して１ＧＯＰだけを比較するとクローズド（Closed）ＧＯＰと同様であり、特定フレームでＩピクチャまたはＰピクチャの一方を削除すると、削除された方によりＧＯＰの構成は変化するが、ピクチャの並びは通常ＧＯＰの並びと同様になる。すなわち、本実施の形態のＧＯＰは、クローズド（Closed）ＧＯＰと通常ＧＯＰの両方の特性を兼ね備えることができる。
【００４９】
前記動画像符号列は、クローズド（Closed）ＧＯＰの場合と同様にＧＯＰ単位で符号列の編集が可能になる。その様子を図２に示す。同図に示すように、１行目に示す符号列ＡのあるＧＯＰとＧＯＰの間に、３行目に示す符号列Ｂの１ＧＯＰが挿入されて、２行目に示すような編集された符号列が得られる。ここで、各ＧＯＰはその最初と最後が重複ピクチャとなっている。従って、従来の編集装置と処理が異なる。
【００５０】
まず、画像の長さについて、ＧＯＰの最後のＰピクチャは、ＧＯＰの長さ（時間）には組み入れないで、編集時間の計算を行う。従って、本実施の形態のＧＯＰ構成の符号列が１６フレームであっても、１５フレームと見なす。
【００５１】
次に、特定ピクチャの再生制御で、ＧＯＰ単位で編集を行った場合、編集点となる特定ピクチャは、前のＧＯＰのＰピクチャ、後のＧＯＰのＩピクチャいずれもが復号化再生可能である。一方、編集が行われているので画像内容は異なる。符号列が重複する点を積極的に利用する方法としては、再生時にどちらの画像を出力するか、制御情報を入れておけば、同じ符号列で編集点を１ピクチャ前後させることができる。
【００５２】
また、従来クローズド（Closed）ＧＯＰでは復号化装置で処理変更がないので、編集が行われていることを示すフラグ（Bloken Link）を立てる必要はなかったが、本手法においては復号化処理を切り替える必要があるので、ブロークンリンク（Bloken Link）のフラグを立てる必要がある。
【００５３】
次に、動画像復号化装置の各例について説明する。図３は動画像復号化装置の一例のブロック図を示す。この動画像復号化装置は、図１に示した本発明の動画像符号化装置の一実施の形態に対応する復号化装置の構成を示しており、これは編集が行われてない画像連続性が保たれた符号列の場合である。
【００５４】
図３において、符号列入力端子３１より入来する符号列は、多重化分離器３２によりピクチャのヘッダに基づきＩピクチャの符号列とそれ以外の符号列に分離される。ＰピクチャやＢピクチャの符号列は、可変長復号化器３３に供給され、Ｉピクチャの符号列は可変長復号化器３４に供給される。
【００５５】
Ｐ（Ｂ）ピクチャの符号列は、可変長復号化器３３で予測残差の可変長符号が固定長の符号に戻され、逆量子化器３５に供給される。逆量子化器３５は、入力された固定長符号を、量子化パラメータに従って逆量子化して予測残差の再生ＤＣＴ係数値を得、これを逆ＤＣＴ３６に供給する。
【００５６】
逆ＤＣＴ３６は８×８個の係数を復号予測残差信号に変換し、加算器３７に供給する。加算器３７は上記の復号予測残差信号に、画像間予測器４５から与えられる予測信号を加算して復号画像信号を得る。この様にして得られたＰ（Ｂ）ピクチャの復号画像信号は、乗算器４２に供給される。
【００５７】
一方、多重化分離器３２で分離されたＩピクチャの符号列は、可変長復号化器３４で復号化され、逆量子化器３８で逆量子化され、逆ＤＣＴ３９で復号化されて再生画像信号とされた後、乗算器４１に入力される。可変長復号化器３４、逆量子化器３８、逆ＤＣＴ３９の動作は、可変長復号化器３３、逆量子化器３５、逆ＤＣＴ３６と同様であるが、パラメータはＩピクチャ用のものとなる。
【００５８】
また、多重分離器３２は入力された符号列中のピクチャヘッダからピクチャのＩＤを検出して、その結果情報が特定画像制御器４０に供給される。特定画像制御器４０は、特定ピクチャを検出し、その制御情報を乗算器４１及び４２にそれぞれ供給する。乗算器４１は、上記の制御情報に従って逆ＤＣＴ３９からの再生画像信号に０から１の値を乗じて、加算器４３に与える。他方、乗算器４２は、上記の制御情報に従って加算器３７からのＰ（Ｂ）ピクチャの復号画像信号に０から１の値を乗じて、加算器４３に与える。
【００５９】
加算器４３は、乗算器４１及び４２から取り出された２種類の復号画像信号を加算して再生画像信号を得る。加算器４３による加算は特定ピクチャのみで行われ、このとき乗算器４１、乗算器４２共に係数０．５が乗算される。それ以外では、乗算器４２で係数１と復号画像信号との乗算が、乗算器４１で係数０と復号画像信号との乗算がそれぞれ行われるため、加算器４３からは加算器３７からのＰ（Ｂ）ピクチャの復号画像信号がそのまま出力される。
【００６０】
特定ピクチャでは再生画像信号は加算器４３での加算により、乗算器４１、４２から取り出された各復号画像信号よりＳ／Ｎが改善されたものとなる。このような復号化の様子を図４（ａ）に示す。
【００６１】
加算器４３から出力された再生画像信号は、Ｂピクチャではスイッチ４６を介して再生画像出力端子４７よりそのまま出力される。一方、加算器４３から出力された再生画像信号は、Ｐ（Ｉ）ピクチャでは画像メモリ４４にいったん蓄えられ、画像間予測処理のための参照画像とされると共に遅延させられた後、画像間予測器２２に供給され、ここでこの参照画像を用いて予測信号とされて加算器３７に入力される。スイッチ４６は遅延されたＢピクチャと、画像メモリ４４で遅延されたＰ（Ｉ）ピクチャを選択して出力端子４７へ出力する。
【００６２】
次に、動画像復号化装置の他の例について説明する。図５は図１の動画像符号化装置に対応する動画像復号化装置の他の例のブロック図を示す。図５中、図３と同一構成部分には同一符号を付し、その説明を省略する。図５の復号化装置は符号列編集が行われ、画像連続性が保たれない場合の復号化を行う装置である。
【００６３】
加算器３７から出力されるＢピクチャの復号画像信号は、スイッチ５１を介して再生画像出力端子４７よりそのまま出力される。一方、加算器３７から出力されるＰピクチャの復号画像信号は、画像メモリ４８に一旦保持される。また、逆ＤＣＴ３９から出力されるＩピクチャの復号画像信号は、画像メモリ４９に一旦保持される。
【００６４】
ここで、ＧＯＰは編集が行われているので、特定ピクチャのＰピクチャとＩピクチャは形式的に同一ピクチャとなっているが、Ｐピクチャは前ＧＯＰのものであり、Ｉピクチャは後のＧＯＰのものである。そこでスイッチ５０は、画像メモリ４８及び４９からの２種類の復号画像信号から次のように参照画像として適切な方を選択する。
【００６５】
特定ピクチャの復号化の次には、前ＧＯＰのＢピクチャの復号化が行われるが、それには画像メモリ４８に保持されているＰピクチャの復号画像を選択する。続けて、次のＧＯＰのＰピクチャ及びＢピクチャの復号化では、画像メモリ４９に保持されているＩピクチャの復号画像を選択する。この場合の復号化の様子を図４（ｂ）に示す。図で矢印は画像間予測の関係である。
【００６６】
図５に示した復号化装置の復号化では、画像間予測の参照画像が符号化装置の参照画像と若干異なることになるが、いずれも同一画像に対する復号画像であり、量子化雑音成分以外の元の画像は共通である。参照画像の変化は、編集点直前は２ピクチャのみ、編集点後は１ＧＯＰに影響する。しかし、編集点後は予測残差成分が順次加算されるので、参照画像変化の影響は次第に少なくなる。一方、視覚特性を考慮すると、編集でシーンが変わった場合、劣化にはかなり気づき難く、特に変化直後は０.１秒程度の間検知能力が大きく低下するといわれている。従って、劣化の視覚的影響は極めて小さい。
【００６７】
再生画像出力は、スイッチ５１で選択される。スイッチ５１の動作で特定ピクチャ以外は図３のスイッチ４６と同様である。特定フレームではＩピクチャとＰピクチャのいずれを出力することも可能であるので、どちらを選択するかあらかじめ決められていてもよいが、符号列編集装置にて符号列に制御情報が入れられている場合は、それに従って制御する。
【００６８】
なお、以上の実施の形態では、動画像符号化装置及び方法について説明したが、本発明はこれに限定されるものではなく、片方向予測で符号化されるピクチャの一部を特定ピクチャとし、その特定ピクチャでは片方向予測符号化と共にピクチャ内独立でも符号化した符号列があり、特定ピクチャのピクチャ内独立符号化された符号列で始まり、特定ピクチャの直前のピクチャの双方向予測符号化された符号列で終了する符号列を一つの符号列群とし、この符号列群単位で合成された符号列を、所望の伝送路を介して伝送するようにしてもよい。
【００６９】
【発明の効果】
以上説明したように、本発明によれば、特定ピクチャでは片方向予測符号化されたピクチャ符号列の他に、ピクチャ内独立符号化されたピクチャ符号列も持ち、これら２種類のピクチャ符号列が重複することになるが、両者の局部復号画像を加算することで、再生画像のＳ／Ｎを改善するようにしたため、再生画像の画質を改善できる。また、その再生画像を画像間予測の参照画像とすることで、画像間予測効率も改善するようにしたため、上記の特定ピクチャではその分総符号量を減らすこともできる。
【００７０】
また、本発明によれば、符号列の群（ＧＯＰ）構成を特定ピクチャに含まれる片方向予測符号化ピクチャと、ピクチャ内独立符号化ピクチャの間で区切る構成とすることにより、ＧＯＰ単位で符号列が編集された場合の不連続点では、復号化装置においてＧＯＰ終端は片方向予測符号化ピクチャを、ＧＯＰ始端はピクチャ内独立符号化ピクチャを参照画像として他ピクチャの画像間予測を行うようにしたため、通常ＧＯＰと同等の符号化効率で片方向予測符号化ピクチャの周期性を保ちながら、クローズド（Closed）ＧＯＰ同様に、ＧＯＰ単位の符号列編集ができる符号列を生成することができる。
【図面の簡単な説明】
【図１】 本発明の動画像符号化装置の一実施の形態のブロック図である。
【図２】 動画符号列の編集の様子の一例を示す図である。
【図３】 動画像復号化装置の一例のブロック図である。
【図４】 復号化の各例をピクチャ単位で示す図である。
【図５】 動画像復号化装置の他の例のブロック図である。
【図６】 ＧＯＰ構成の各例を示す図である。
【図７】 従来の動画像符号化装置の一例のブロック図である。
【図８】 ＧＯＰ（画像群）の符号列構成の各例を示す図である。
【符号の説明】
１ 画像入力端子
２ フレーム遅延器
３ 減算器
４、２０ ＤＣＴ
５、２１ 量子化器
６、２２ 可変長符号化器
１０、１５、３５、３８ 逆量子化器
１１、１６、３６、３９ 逆ＤＣＴ
１２、２６、３７、４３ 加算器
１３ 多重化器
１４ 符号列出力端子
１７、２５、４１、４２ 乗算器
１８ 特定画像設定器
１９、４６ スイッチ
２７、４５ 画像間予測器
３１ 符号列入力端子
３２ 多重化分離器
３３、３４ 可変長復号化器
４０ 特定画像制御器
４７ 再生画像出力端子
Claims (2)
- ピクチャ内独立、片方向予測、双方向予測の３種類の符号化手法で動画像の各ピクチャを符号化する動画像符号化装置において、
入力画像信号を前記片方向予測又は双方向予測で符号化し、局部復号して片方向予測符号化の局部復号画像を得る第１の符号化局部復号化手段と、
前記片方向予測で符号化されるピクチャの一部を特定ピクチャとし、前記特定ピクチャでは片方向予測符号化と共に前記ピクチャ内独立でも符号化し、局部復号して、ピクチャ内独立符号化の局部復号画像を得る第２の符号化局部復号化手段と、
前記特定ピクチャにおいて、前記片方向予測符号化の局部復号画像と前記ピクチャ内独立符号化の局部復号画像を加算して、他ピクチャの画像間予測処理の参照画像とする画像間予測手段と
を有することを特徴とする動画像符号化装置。 - ピクチャ内独立、片方向予測、双方向予測の３種類の符号化手法で動画像の各ピクチャを符号化する動画像符号化方法において、
入力画像信号を前記片方向予測で符号化し、局部復号して片方向予測符号化の局部復号画像を得る第１のステップと、
前記片方向予測で符号化されるピクチャの一部を特定ピクチャとし、前記特定ピクチャでは片方向予測符号化と共に前記ピクチャ内独立でも符号化し、局部復号してピクチャ内独立符号化の局部復号画像を得る第２のステップと、
前記特定ピクチャにおいて、前記片方向予測符号化の局部復号画像と前記ピクチャ内独立符号化の局部復号画像を加算して、他ピクチャの画像間予測処理の参照画像とする第３のステップと
を含むことを特徴とする動画像符号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001334295A JP3918510B2 (ja) | 2001-10-31 | 2001-10-31 | 動画像符号化装置及び動画像符号化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001334295A JP3918510B2 (ja) | 2001-10-31 | 2001-10-31 | 動画像符号化装置及び動画像符号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003143608A JP2003143608A (ja) | 2003-05-16 |
| JP3918510B2 true JP3918510B2 (ja) | 2007-05-23 |
Family
ID=19149446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001334295A Expired - Lifetime JP3918510B2 (ja) | 2001-10-31 | 2001-10-31 | 動画像符号化装置及び動画像符号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3918510B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5359724B2 (ja) * | 2009-09-16 | 2013-12-04 | 日本電気株式会社 | ストリーミング配信システム、サーバ装置、ストリーミング配信方法及びプログラム |
-
2001
- 2001-10-31 JP JP2001334295A patent/JP3918510B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003143608A (ja) | 2003-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7477689B2 (en) | Video decoder architecture and method for using same | |
| US6920175B2 (en) | Video coding architecture and methods for using same | |
| US6057893A (en) | Picture encoding method, picture encoding apparatus, picture transmitting method and picture recording medium | |
| RU2297729C2 (ru) | Группирование кадров изображения на видеокодировании | |
| RU2395173C2 (ru) | Группирование кадров изображения на видеокодировании | |
| US20040240560A1 (en) | Video decoder architecture and method for using same | |
| US20040120403A1 (en) | Method and apparatus for altering the picture updating frequency of a compressed video data stream | |
| JP2004507178A (ja) | ビデオ信号符号化方法 | |
| EP0989755A2 (en) | A system and method for processing a video stream with a flash sequence | |
| KR19990072968A (ko) | 화상신호처리시스템,디코더,화상신호처리방법,및디코딩방법 | |
| JP2002158969A (ja) | 動画像符号化データ変換装置及びその方法 | |
| JP2004064762A (ja) | 画像符号化方法及び装置 | |
| JPH11317951A (ja) | データ符号化装置、データ符号化方法及びデータ伝送方法 | |
| JP2000059790A (ja) | 動画像符号列変換装置及びその方法 | |
| EP1280356A2 (en) | Apparatus and method for compressing multiplexed video signals | |
| JP3948266B2 (ja) | 動画像符号化装置、符号化方法、復号化装置、復号化方法及び動画像符号列伝送方法 | |
| JP3918510B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP3839911B2 (ja) | 画像処理装置および画像処理方法 | |
| JP3918509B2 (ja) | 動画像編集装置、動画像編集方法、動画像復号化装置及び動画像復号化方法 | |
| JP3487205B2 (ja) | 画像データ編集装置 | |
| JP3900534B2 (ja) | 動画像の符号化装置および符号化方法 | |
| JPH08251582A (ja) | 符号化データ編集装置 | |
| JP3756897B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP2002199408A (ja) | 動画像符号化方法および動画像符号化装置 | |
| JPH07131793A (ja) | 映像信号高能率符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040330 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060802 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060815 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060926 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070123 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070205 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3918510 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110223 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120223 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120223 Year of fee payment: 5 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120223 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130223 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130223 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140223 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |