JPH10136354A - 映像信号符号化方法、映像信号符号化装置及び記録媒体 - Google Patents

映像信号符号化方法、映像信号符号化装置及び記録媒体

Info

Publication number
JPH10136354A
JPH10136354A JP30697396A JP30697396A JPH10136354A JP H10136354 A JPH10136354 A JP H10136354A JP 30697396 A JP30697396 A JP 30697396A JP 30697396 A JP30697396 A JP 30697396A JP H10136354 A JPH10136354 A JP H10136354A
Authority
JP
Japan
Prior art keywords
video unit
parameter
unit
video
code amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP30697396A
Other languages
English (en)
Other versions
JP3937248B2 (ja
Inventor
Takuya Kitamura
卓也 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP30697396A priority Critical patent/JP3937248B2/ja
Publication of JPH10136354A publication Critical patent/JPH10136354A/ja
Application granted granted Critical
Publication of JP3937248B2 publication Critical patent/JP3937248B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】従来、一般に使用されていたテストモデルと呼
ばれる量子化制御法では、可変レート符号化方式に対応
することができなかつた。 【解決手段】第1又は第2の映像単位毎の割当て符号量
に基づいて、第1の映像単位における第2の映像単位当
たりの平均符号化データ速度を算出し、単位時間当たり
に伝送されてくる第2の映像単位に応じた画像のデータ
量に対する平均符号化データ速度の割合いで表される第
1のパラメータを第1の映像単位毎に算出し、符号化対
象としている第2の映像単位に対する割当て符号量と、
実際に符号化して発生した発生符号量との差分を第3の
映像単位毎に算出し、当該差分を、符号化対象としてい
る第3の映像単位についての第1の量子化ステツプを算
出する際に反映させるための第2のパラメータを算出
し、第1及び第2のパラーメタに基づいて第3の映像単
位についての第1の量子化値を算出する。

Description

【発明の詳細な説明】
【0001】
【目次】以下の順序で本発明を説明する。 発明の属する技術分野 従来の技術 発明が解決しようとする課題 課題を解決するための手段 発明の実施の形態 (1)全体構成(図1) (2−1)量子化制御部の構成(図2〜図4) (2−2)実施例の動作及び効果 (3)第3実施例 発明の効果
【0002】
【発明の属する技術分野】本発明は映像信号符号化方
法、映像信号符号化装置及び記録媒体に関し、特にデイ
ジタル映像信号を所定の映像単位毎に可変レートで符号
化する映像信号符号化方法及び映像信号符号化装置に適
用し得る。また量子化制御アルゴリズムをプログラムと
して有する記録媒体に適用し得る。
【0003】
【従来の技術】従来、映像信号をデイジタル化して所定
の記録媒体に記録し又は伝送する場合、データ量が膨大
となるためデータを符号化(圧縮)している。代表的な
符号化方式として動き補償予測符号化が知られている。
この動き補償予測符号化は、映像信号の時間軸方向の相
関を利用する方法であり、既に復号再生されている映像
信号より現在の符号化対象の動き情報(動きベクトル)
を推定し、復号されている映像信号を信号の動きに合わ
せて移動させ、この動きベクトルとその時の予測残差を
伝送することにより、符号化に必要な情報量を圧縮する
方法である。
【0004】この動き補償予測符号化の代表的なものと
して、MPEG(Moving Picture Expert Group )が知
られている。このMPEG方式は、1画像(1フレーム
又は1フイールド)を16×16画素で構成されるマクロブ
ロツクと呼ばれるブロツクに分割し、このブロツク単位
で動き補償予測符号化を行う。この動き補償予測符号化
には、イントラ符号化及び非イントラ符号化の2つの方
法がある。イントラ符号化は自らのマクロブロツクの情
報だけを用いる符号化方法であり、非イントラ符号化は
自らのマクロブロツクの情報と他の時刻に現れる画像よ
り得た情報との双方の情報を用いる符号化方法である。
【0005】MPEG方式は、各フレームを3つの画像
タイプ、すなわちIピクチヤ(intra coded picture
)、Pピクチヤ(predictive coded picture)又はB
ピクチヤ(bidirectionally predictive coded pictur
e)のいずれかの画像タイプのピクチヤとして符号化す
る。Iピクチヤの画像信号は、その1フレーム分の画像
信号がそのまま符号化されて伝送される。Pピクチヤの
画像信号は、当該Pピクチヤより時間的に過去にあるI
ピクチヤ又はPピクチヤの画像信号との差分が符号化さ
れて伝送される。Bピクチヤは、時間的に過去にあるP
ピクチヤ若しくはIピクチヤ又は時間的に未来にあるP
ピクチヤ若しくはIピクチヤのいずれかのピクチヤとの
差分が符号化されて伝送されるか、又は時間的に過去及
び未来にあるIピクチヤ又はPピクチヤの双方のピクチ
ヤとの差分が符号化されて伝送される。
【0006】このように映像信号符号化装置において符
号化されたデータ(ビツトストリーム)は固定ビツトレ
ートで出力され、所定の記録媒体に記録され又はデイジ
タル映像信号復号装置に伝送される。
【0007】
【発明が解決しようとする課題】ところで映像信号に
は、動きが激しい絵柄であるために圧縮符号化に向かな
い画像と、圧縮符号化を非常に簡単に行うことができる
静止画に近いような画像が含まれている。従つて映像信
号を固定レートで符号化すると、複雑な絵柄の画質が大
幅に劣化することになる。
【0008】そこで複雑な絵柄に割り当てる符号量を多
くし、簡単な絵柄に割り当てる符号量を少なくすること
より、平均のビツトレートが低くても映像信号全体とし
て高画質を実現するようにした可変レート符号化方式と
呼ばれる符号化方法が提案されている。この可変レート
符号化方式は、読出し速度を自由に調整できるような記
録媒体、例えばデイジタルビデオデイスク(Digital Vi
deo Disk、DVD)で用いることかできる。
【0009】従つてこの可変レート符号化方式を用いる
場合には、入力される映像信号の圧縮の難しさ(すなわ
ち絵柄の複雑さや動きの激しさ)を予め把握しておかな
ければないならい。そこでこの可変レート符号化方式に
おいては、まずデイジタル映像信号を固定の量子化ステ
ツプ基づいて符号化することにより発生した発生符号量
に基づいてGOP(Group of Pictures )又はフレーム
毎の割当て符号量を算出し、当該割当て符号量に応じて
デイジタル映像信号を符号化するといういわゆる2パス
エンコーデイングと呼ばれる方法を用いている。
【0010】ここで各フレーム毎の割当て符号量が決定
すると、当該割当て符号量を満たすように量子化制御す
る必要がある。ここで量子化制御とは、符号化によつて
発生する発生符号量を、ある時間幅においてみたときに
所定のビツトレートになるように、量子化における量子
化ステツプを制御することを言う。この量子化制御法と
しては、MPEG方式において規定されたテストモデル
(Test Model)と呼ばれる量子化制御法が一般に使用さ
れている。このテストモデルと呼ばれる量子化制御法
は、発生符号量と割当て符号量(目標ビツト数)の差を
フイードバツクするものである。
【0011】以下、このテストモデルにおける量子化制
御アルゴリズムについて説明する。この量子化制御アル
ゴリズムは3つの大きなステツプによつて構成されてい
る。
【0012】(1)量子化制御アルゴリズムの第1ステ
ツプ この第1ステツプにおいては、各画像タイプ毎の割当て
符号量を算出するステツプであり、各フレームを符号化
する前に、それぞれ次式
【数1】
【数2】
【数3】 によつて定義されたIピクチヤ、Pピクチヤ及びBピク
チヤの複雑さ指標XI 、XP 及びXB を更新する。
【0013】ここでSI 、SP 及びSB は、それぞれI
ピクチヤ、Pピクチヤ及びBピクチヤでの発生符号量を
表す。またQIave、QPave及びQBaveは、それぞれIピ
クチヤ、Pピクチヤ及びBピクチヤにおける平均的な量
子化パラメータ、すなわち1フレーム中における全ての
マクロブロツクの量子化ステツプの平均値(1〜31の範
囲に正規化されている)を表す。
【0014】この複雑さ指標XI 、XP 及びXB は、符
号化した際の発生符号量が多いような画像対しては大き
くなり、高い圧縮率が得られる画像に対しては小さくな
る。従つてこれから符号化を行おうとしている画像タイ
プによつてどの程度符号量が必要であるかを、ある数値
で規格化することにより相対的に見積もつたものであ
る。
【0015】この複雑さ指標XI 、XP 及びXB の初期
値XI(init) 、XP(init) 及びXB(init) は、それぞれ
次式
【数4】
【数5】
【数6】 によつて定義されている。
【0016】GOP中の次のフレームに対する割当て符
号量TI 、TP 及びTB は、Iピクチヤ、Pピクチヤ及
びBピクチヤ毎にそれぞれ次式
【数7】
【数8】
【数9】 によつて表される。
【0017】ここでGOPとは、必ずIピクチヤを含む
何枚かのピクチヤをひとまとまりとした処理単位であ
り、GOP内のフレームの枚数(すなわちIピクチヤの
間隔)をNというパラメータで表し、Pピクチヤ又はI
ピクチヤの間隔をMというパラメータで表す。従つてG
OPはパラメータN及びMによつて決定される。
【0018】(7)式〜(9)式において、KP 及びK
B は、量子化マトリクスに依存する恒常的な定数であ
り、それぞれIピクチヤに対するPピクチヤの量子化の
際の粗さの程度、及びIピクチヤに対するBピクチヤの
量子化の際の粗さの程度を表す。このテストモデルの場
合、KP = 1.0と定義されているので、PピクチヤはI
ピクチヤと同じ粗さで量子化され、Bピクチヤについて
は、KB = 1.4と定義されているので、BピクチヤはI
ピクチヤの 1.4倍の粗さで量子化される。
【0019】またNP 及びNB は、それぞれ1GOP中
の符号化順序において、Pピクチヤ及びBピクチヤの残
りの枚数を表す。Rは、符号化対象としているGOPに
与えられた残りの符号量(ビツト数)であり、あるフレ
ームを符号化した後においては、次式
【数10】
【数11】
【数12】 のいずれかとなる。
【0020】すなわち例えば(7)式を用いてIピクチ
ヤの割当て符号量TI を算出した後、Iピクチヤの後に
続くピクチヤ、例えばBピクチヤの割当て符号量TB
(9)式を用いて算出する際には、(9)式におけるR
は、Iピクチヤに使用された符号量SI を除いた値(す
なわち(10)式で計算されたR=R−SI )が用いら
れ、これにより1GOPに割り当てられた割当て符号量
を一定に保持している。ここでGOP中の最初のピクチ
ヤ、すなわち符号化順序で最初のピクチヤであるIピク
チヤの割当て符号量TI を算出する際のRは、次式
【数13】 に設定されている。
【0021】従つてIピクチヤの割当て符号量TI 、P
ピクチヤの割当て符号量TP 及びBピクチヤの割当て符
号量TB は、GOP中における残りの符号量Rを、当該
GOP中におけるIピクチヤ、Pピクチヤ及びBピクチ
ヤの残りの枚数の自分の画像タイプに換算したもので除
算することによつて得ることができる。すなわち(7)
式〜(9)式は、GOP中における符号化されていない
全てのピクチヤが、これから符号化しようとするピクチ
ヤと同じ画像タイプであるとみなしたとき、1フレーム
当たりどの程度の符号量を割り当てることができるかの
目安を与えることを表している。
【0022】(2)量子化制御アルゴリズムの第2ステ
ツプ この第2ステツプは、各フレームにおける各マクロブロ
ツクを順次符号化しながら、仮の量子化ステツプ、すな
わち後述するように、画像の複雑さや動きの激しさを考
慮しない場合の量子化ステツプ(以下、これを参照量子
化ステツプと呼ぶ)を第1の量子化ステツプとして算出
するステツプであり、符号化対象としているフレームに
対する割当て符号量TI 、TP 又はTB と、符号化して
実際に発生した発生符号量との差分をマクロブロツク毎
にフイードバツクする。
【0023】従つて実際に符号化して発生した発生符号
量が、当初想定していた割当て符号量より多い場合に
は、発生符号量を減らすために量子化ステツプは大きく
なり、発生符号量が割当て符号量より少ない場合には、
量子化ステツプは小さくなる。
【0024】まず符号化対象としているIピクチヤ、P
ピクチヤ又はBピクチヤにおけるi番目のマクロブロツ
クiを符号化する前に、Iピクチヤ、Pピクチヤ及びB
ピクチヤ毎にそれぞれ用意された仮想的なバツフアの充
満度dIi、dPi及びdBiを、それぞれ次式
【数14】
【数15】
【数16】 を用いて算出する。
【0025】これら(14)式〜(16)式において、
i-1 は、i番目のマクロブロツクを含んで符号化対象
としているフレームのそれまでの全てのマクロブロツク
を実際に符号化して発生した発生符号量の合計を表し、
MB_cnt は、1フレーム内のマクロブロツク数を表す
(以下、同様)。従つて(14)式、(15)式及び
(16)式において、TI ×(i−1)/MB_cnt 、T
P ×(i−1)/MB_cnt及びTB ×(i−1)/MB_c
nt は、それぞれIピクチヤ、Pピクチヤ及びBピクチ
ヤにそれぞれ割り当てられた割当て符号量TI 、TP
びTB を、それぞれIピクチヤ、Pピクチヤ及びBピク
チヤにおける各マクロブロツクに対して均等に割り当て
たと想定したときの想定割当て符号量を表すことにな
る。
【0026】従つて(14)式、(15)式及び(1
6)式は、i番目のマクロブロツクを含んで符号化対象
としているフレームのそれまでの全てのマクロブロツク
を符号化して発生した発生符号量の合計と、符号化対象
としているフレームの割当て符号量TI 、TP 又はTB
を符号化対象としているフレームの各マクロブロツクに
均等に割り当てたと想定したときのi−1番目までの想
定符号量の合計との差分をマクロブロツク毎に算出し、
当該差分を、符号化対象としているフレームと同じ画像
タイプの1つ前のフレームの最後のマクロブロツクにつ
いての参照量子化ステツプQを算出する際に用いた仮想
的なバツフアの充満度dI0 、dP0 又はdB0 に加算
することにより、符号化対象としているマクロブロツク
iについての参照量子化ステツプQi を算出する際に用
いる仮想的なバツフアの充満度dIi 、dPi 及びdB
i として算出している。
【0027】ここで各画像タイプにおける最後のマクロ
ブロツクについて算出した仮想的なバツフアの充満度d
i 、dPi 及びdBi は、次の同じ画像タイプのフレ
ームにおける各マクロブロツクについての参照量子化ス
テツプQを算出する際の初期値dI0 、dP0 及びdB
0 として使用される。
【0028】また最初のGOP中の最初のIピクチヤ、
Pピクチヤ及びBピクチヤにおける最初のマクロブロツ
クについての参照量子化ステツプQを算出する際に用い
る仮想的なバツフアの充満度dIi 、dPi 及びdBi
を算出するために必要となる仮想的なバツフアの充満度
dI0 、dP0 及びdB0 (すなわち初期値)は、それ
ぞれ次式
【数17】
【数18】
【数19】 によつて定義されている。
【0029】続いてマクロブロツクiの参照量子化ステ
ツプQi は、次式
【数20】 で与えられる。ここで*は当該フレームの画像タイプの
いずれかを表す(以下、同様)。またピクチヤレートに
対するビツトレート(符号化データ速度)の割合いで表
される第1のパラメータrは、次式
【数21】 によつて定義されている。ここで(17)式における第
1のパラメータrも(20)式によつて表される。
【0030】かくして各画像タイプにおける各マクロブ
ロツク毎の参照量子化ステツプQが算出される。
【0031】(3)量子化制御アルゴリズムの第3ステ
ツプ 上述の第2ステツプにおいて算出した参照量子化ステツ
プQは、各マクロブロツクにおける画像の複雑さ(空間
周波数の振幅の大きさ)や動きの激しさを考慮せずに算
出した値であるため、この第3ステツプにおいては、各
マクロブロツクにおける画像の複雑さや動きの激しさを
考慮した各マクロブロツク毎の量子化ステツプMQUANTを
第2の量子化ステツプとして算出するステツプである。
すなわち量子化パラメータの平均値を、マクロブロツク
毎のアクテイビテイ(ブロツク当たりのAC成分のエネ
ルギー(活性度))によつて変化させる。
【0032】マクロブロツクiの空間的なアクテイビテ
イact i は、その輝度ブロツク(1マクロブロツク中に
4個存在する)よりイントラ(intra )画素値を用いて
次式
【数22】 を用いて算出する。ここで varsblkは、マクロブロツク
iの4つの輝度ブロツク(サブブロツクsblk)における
アクテイビテイを表し、各サブブロツクsblkにおけるア
クテイビテイ varsblkは、次式
【数23】 によつて算出する。ここで各マクロブロツクは16×16画
素から構成されているものとし、Pj は画素値を表す。
【0033】すなわち(23)式は、4つの各サブブロ
ツクsblkついて、サブブロツクsblkにおける各画素値P
j と、次式
【数24】 を用いて算出した当該サブブロツクsblkにおける各画素
値Pj の平均値Pave との差分を2乗したものを、当該
サブブロツクsblkにおける全ての画素(64個)について
算出し、これら各画素毎に算出した演算結果(Pj −P
ave 2 の合計を当該サブブロツクsblkにおけるアクテ
イビテイ varsblkとして算出し、4つのサブブロツクsb
lkについてそれぞれ算出したアクテビテイ varsblkのう
ち、最小のアクテイビテイ varsblkをもつサブブロツク
sblkのアクテイビイテイ varsblkをマクロブロツクiに
ついてのアクテイビテイ acti とすることを意味する。
【0034】このようにして算出したマクロブロツクi
のアクテイビテイ acti を正規化した係数を次式
【数25】 を用いて正規化する。すなわちアクテイビテイ act
i を、平均的なアクテイビテイの値からの偏りによつて
0.5〜2.0 の範囲に正規化した係数 N_ acti を算出す
る。
【0035】ここで avg_act は、符号化対象としてい
るフレームの1つ前のフレームにおける acti の平均値
を表す。マクロブロツクiについての最終的な量子化ス
テツプMQUANTi は、次式
【数26】 によつて得られる。
【0036】すなわち画像の複雑さや動きの激しさを考
慮しないときの各マクロブロツクについての参照量子化
ステツプQi に、正規化した係数 N_ acti を乗ずるこ
とにより、マクロブロツクiについて画像の複雑さや動
きの激しさを考慮した量子化ステツプMQUANTi を得るこ
とかできる。最終的にMQUANTi は、1〜31の範囲の整数
に制限される。
【0037】このようにして符号化対象としているフレ
ームの符号化対象としているマクロブロツクiについて
の量子化ステツプMQUANTi が決定されると、当該量子化
ステツプMQUANTi を用いてマクロブロツクが量子化され
て符号化され、このときに実際に発生した発生符号量が
(14)式、(15)式又は(16)式におけるBi-1
に加算される。
【0038】以降、次のフレームに対して上述の第1〜
第3のステツプを繰り返すことにより当該フレームにつ
いての全てのマクロブロツクについて量子化ステツプMQ
UANTi が順次決定し、デイジタル映像信号中のあるGO
Pにおける全てのフレームについて全てのマクロブロツ
クに対する量子化ステツプMQUANTが決定すると、次のG
OPについて上述の第1〜第3のステツプが行われる。
【0039】ところが上述のようなテストモデルによる
量子化制御法においては、ビツトレートとして固定レー
トを前提としているので、上述のような可変レート符号
化方式に適用することができなかつた。すなわちビツト
レートが固定であるということは、(21)式において
第1のパラメータrが固定であることを意味し、従つて
各GOPにおける第1のパラメータrも一定となるの
で、テストモデルによる量子化制御法を絵柄の複雑さや
動きの激しさに応じてビツトレートを可変にする可変レ
ート符号化方式には適用できなかつた。
【0040】本発明は以上の点を考慮してなされたもの
で、可変レート符号化方式に対応し得る量子化制御を行
うことのできる映像信号符号化方法、映像信号符号化装
置及び記録媒体を提案しようとするものである。
【0041】
【課題を解決するための手段】かかる課題を解決するた
め本発明においては、第1の映像単位又は第2の映像単
位毎の割当て符号量に基づいて、第1の映像単位におけ
る第2の映像単位当たりの平均符号化データ速度を算出
し、単位時間当たりに伝送されてくる第2の映像単位に
応じた画像のデータ量に対する平均符号化データ速度の
割合いで表される第1のパラメータを第1の映像単位毎
に算出し、符号化対象としている第2の映像単位に対す
る割当て符号量と、実際に符号化して発生した発生符号
量との差分を第3の映像単位毎に算出し、当該第3の映
像単位毎の差分を、符号化対象としている第3の映像単
位についての第1の量子化ステツプを算出する際に反映
させるための第2のパラメータを算出し、第1のパラメ
ータ及び第2のパラメータに基づいて符号化対象として
いる第3の映像単位についての第1の量子化ステツプを
算出するようにした。本発明によれば、第1の映像単位
毎に第2の映像単位当たりの平均符号化データ速度を算
出し、当該平均符号化データ速度を用いて第1のパラメ
ータを算出するので、第1のパラメータを各第1の映像
単位における平均符号化データ速度に応じて変化させる
ことができる。
【0042】
【発明の実施の形態】以下図面について、本発明の一実
施例を詳述する。
【0043】(1)全体構成 図1において、1は全体として本発明を適用した映像信
号符号化装置を示し、映像信号S1は画像符号化タイプ
指定回路2に入力される。画像符号化タイプ指定回路2
は入力される映像信号S1の各フレームを第2の映像単
位としてIピクチヤ、Pピクチヤ又はBピクチヤのうち
のどの画像タイプのピクチヤとして処理するかを指定し
て画像符号化並替え回路3に送出する。この映像信号符
号化装置1は、例えば15個のフレームを第1の映像単位
としての1GOPとして処理の1単位とする。
【0044】画像符号化順序並替え回路3は指定された
画像符号化タイプに従つて各フレームを符号化する順番
に並び替えて画像信号S2としてスキヤンコンバータ4
に送出すると共に、当該画像信号S2についての画像符
号化タイプS3を予測モード決定回路5、動きベクトル
検出回路6及び量子化制御回路7に送出する。また画像
符号化並替え回路3は現在符号化されているフレームの
動きベクトルを検出するために現在画像と、当該現在画
像より時間的に過去にある画像(以下、これを過去参照
画像と呼ぶ)及び又は現在画像より時間的に未来にある
画像(以下、これを未来参照画像と呼ぶ)S4とを動き
ベクトル検出回路6に送出する。
【0045】スキヤンコンバータ4は、画像信号S2を
フレーム毎にブロツクフオーマツトの信号に変換し、こ
の1フレームの信号を16ラインを1単位としてN個のス
ライスに区分すると共に、各スライスを16×16の画素に
対応する輝度信号によつて構成されるM個のマクロブロ
ツクに分割し、当該各マクロブロツクを第3の映像単位
(伝送単位)として量子化制御回路7及び演算回路8に
送出する。
【0046】動きベクトル検出回路6は画像信号S2の
各フレームに同期した画像符号化タイプS3に従つて各
フレームの画像データをIピクチヤ、Pピクチヤ又はB
ピクツチヤとして処理する。すなわちIピクチヤとして
処理されるフレームの画像データは、動きベクトル検出
回路6から、過去参照画像を格納する過去参照画像メモ
リ(図示せず)に格納され、Bピクチヤとして処理され
るフレームの画像データは現在画像を格納する現在画像
メモリ(図示せず)に格納され、Pピクチヤとして処理
されるフレームの画像データは未来参照画像を格納する
未来参照画像メモリ(図示せず)に格納される。
【0047】ここで次のタイミングにおいて、Bピクチ
ヤ又はPピクチヤとして処理すべきフレームが動きベク
トル検出回路6に入力されたとき、これまでに未来参照
画像メモリに格納されていた最初のPピクチヤの画像デ
ータは過去参照画像メモリに格納される。また次のBピ
クチヤの画像データは現在画像メモリに格納され、次の
Pピクチヤの画像データは未来参照画像メモリに格納さ
れる。以降このような動作が順次繰り返される。
【0048】動きベクトル検出回路6は順方向予測にお
ける動きベクトル及びそのときの動きベクトル推定残差
S5を予測モード決定回路5に送出する。ここで動きベ
クトル検出回路6は、Bピクチヤの場合には、逆方向予
測における動きベクトルとそのときの動きベクトル推定
残差とを送出する。予測モード決定回路5はイントラモ
ード、順方向予測モード、逆方向予測モード又は双方向
予測モードのうちどの予測モードを選択するかを決定す
る。
【0049】ここでイントラモードは、符号化対象とな
るフレームの画像データをそのまま伝送データとして伝
送する処理であり、順方向予測モードは、過去参照画像
との予測残差と順方向動きベクトルとを伝送する処理で
ある。また逆方向予測モードは、未来参照画像との予測
残差と逆方向動きベクトルとを伝送する処理であり、双
方向予測モードは、過去参照画像と未来参照画像の2つ
の予測画像の平均値との予測残差と順方向及び逆方向の
2つの動きベクトルとを伝送する処理である。Bピクチ
ヤの場合には、これら4種類の予測モードをマクロブロ
ツク単位で切り換える。
【0050】予測モード決定回路5は画像符号化並替え
回路3から送出される画像符号化タイプS3に基づい
て、Iピクチヤの場合にはイントラモードを選択し、P
ピクチヤの場合にはイントラモード又は順方向予測モー
ドのいずれかの予測モードを選択し、Bピクチヤの場合
には、イントラモード、順方向予測モード、逆方向予測
モード又は双方向予測モードのうちいずれかの予測モー
ドを選択し、選択した予測モードS6を演算回路8に送
出する。
【0051】演算回路8はスキヤンコンバータ4より読
み出されたマクロブロツクS7に対して、予測モードS
6に基づいてイントラ、順方向予測、逆方向予測又は双
方向予測の演算を行う。演算回路8はマクロブロツクS
7としてIピクチヤとして処理すべき画像データが入力
された場合、当該画像データをイントラ符号化してDC
T(Discrete Cosine Transform 、離散コサイン変換)
回路9に送出する。DCT回路9はイントラ符号化され
た画像データをDCT係数に変換して量子化回路10に
送出する。
【0052】量子化回路10は各DCT係数を量子化制
御回路7から指定された量子化ステツプで量子化して可
変長符号化回路11及び逆量子化回路12に送出する。
可変長符号化回路11は量子化された画像データ、予測
モード決定回路5から送出される予測モードS6及び動
きベクトル検出回路6から送出される動きベクトルS5
を例えばハフマン符号などの可変長符号に変換し、バツ
フア13を介して量子化制御回路7に送出すると共に外
部に出力する。
【0053】逆量子化回路12は量子化された画像デー
タを量子化時における量子化ステツプに応じて逆量子化
してIDCT(逆DCT)回路14に送出する。IDC
T回路14は逆量子化回路12からの出力を逆DCT処
理する。IDCT回路14からの出力は演算器15を介
してフレームメモリ16内の過去参照画像を格納する過
去参照画像記憶部(図示せず)に格納される。
【0054】次に演算回路8にスキヤンコンバータ4か
らPピクチヤとして処理すべき画像データが入力され、
予測モード決定回路5から送出される予測モードS6が
イントラモードの場合、当該画像データは上述のIピク
チヤの場合と同様にイントラ符号化されてDCT回路
9、量子化回路10、可変長符号化回路11及びバツフ
ア13を介して量子化制御回路7に送出される共に外部
に出力され、逆量子化回路12、IDCT回路14及び
演算器15を介してフレームメモリ16内の未来参照画
像を格納する未来参照画像記憶部(図示せず)に格納さ
れる。
【0055】予測モードS6が順方向予測モードの場合
には、フレームメモリ16の過去参照画像記憶部に格納
されている画像データ(この場合Iピクチヤの画像デー
タ)が読み出されて動き補償回路17に送出される。動
き補償回路17はこの画像データを動きベクトル検出回
路6から送出される順方向動きベクトルS5に対応して
動き補償する。
【0056】すなわち動き補償回路17は、順方向予測
モードの場合、フレームメモリ16の過去参照画像記憶
部の読出しアドレスを、動きベクトル検出回路6が現在
出力しているマクロブロツクの位置に対応する位置から
順方向動きベクトルS5に対応する分だけずらしてデー
タを読み出して予測参照画像を生成し、演算回路8及び
演算器15に送出する。
【0057】演算回路8はスキヤンコンバータ4から送
出される参照画像のマクロブロツクのデータから、動き
補償回路17から送出された当該マクロブロツクに対応
する予測参照画像の画像データを減算して予測残差とし
ての差分データを得、この差分データをDCT回路9に
送出する。この差分データはDCT回路9、量子化回路
10、可変長符号化回路11及びバツフア13を介して
量子化制御回路7に送出されると共に外部に出力され
る。またこの差分データは逆量子化回路12及びIDC
T回路14によつて局所的に復号されて演算器15に送
出される。
【0058】演算器15はIDCT回路14から送出さ
れる差分データに、動き補償回路17から送出される予
測参照画像の画像データを加算する。これにより局所的
に復号したPピクチヤの画像データが得られる。このP
ピクチヤの画像データはフレームメモリ16内の未来参
照画像を格納する未来参照画像記憶部に格納される。
【0059】次に演算回路8にスキヤンコンバータ4か
らBピクチヤとして処理すべきフレームの画像データが
入力され、予測モード決定回路5から送出される予測モ
ードS6がイントラモード又は順方向予測モードの場
合、当該フレームの画像データは上述のPピクチヤの場
合と同様に処理される。これに対して予測モードS6が
逆方向予測モードに設定された場合には、フレームメモ
リ16の未来参照画像記憶部に格納されている画像デー
タ(この場合Pピクチヤの画像データ)が読み出されて
動き補償回路17に送出される。動き補償回路17はこ
の画像データを動きベクトル検出回路6から送出される
逆方向動きベクトルS5に対応して動き補償する。
【0060】すなわち動き補償回路17は、逆方向予測
モードの場合、フレームメモリ16の未来参照画像記憶
部の読出しアドレスを、動きベクトル検出回路6が現在
出力しているマクロブロツクの位置に対応する位置から
動きベクトルS5に対応する分だけずらしてデータを読
み出して予測参照画像を生成し、演算回路8及び演算器
15に送出する。
【0061】演算回路8はスキヤンコンバータ4から送
出される参照画像のマクロブロツクのデータから、動き
補償回路17から送出された当該マクロブロツクに対応
する予測参照画像の画像データを減算して予測残差とし
ての差分データを得、この差分データをDCT回路9に
送出する。この差分データはDCT回路9、量子化回路
10、可変長符号化回路11及びバツフア13を介して
量子化制御回路7に送出されると共に外部に送出され
る。またこの差分データは逆量子化回路12及びIDC
T回路14によつて局所的に復号されて演算器15に送
出される。演算器15はIDCT回路14から送出され
る差分データに、動き補償回路17から送出される予測
参照画像の画像データを加算する。これにより局所的に
復号したBピクチヤの画像データが得られる。
【0062】双方向予測モードの場合には、フレームメ
モリ16の過去参照画像記憶部に格納されている画像デ
ータ(この場合Iピクチヤの画像データ)と、未来参照
画像記憶部に格納されている画像データ(この場合Pピ
クチヤの画像データ)とが読み出されて動き補償回路1
7に送出される。動き補償回路17はこの画像データを
動きベクトル検出回路6から送出される順方向動きベク
トル及び逆方向動きベクトルS5に対応して動き補償す
る。
【0063】すなわち動き補償回路17は、双方向予測
モードの場合、フレームメモリ16の過去参照画像記憶
部と未来参照画像記憶部の読出しアドレスを、動きベク
トル検出回路6が現在出力しているマクロブロツクの位
置に対応する位置から順方向動きベクトル及び逆方向動
きベクトルS5に対応する分だけずらしてデータを読み
出して予測参照画像を生成し、演算回路8及び演算器1
5に送出する。
【0064】演算回路8はスキヤンコンバータ4から送
出される参照画像のマクロブロツクのデータから、動き
補償回路17から送出された当該マクロブロツクに対応
する予測参照画像の画像データの平均値を減算して予測
残差としての差分データを得、この差分データをDCT
回路9に送出する。この差分データはDCT回路9、量
子化回路10、可変長符号化回路11及びバツフア13
を介して量子化制御回路7に送出されると共に外部に出
力される。またこの差分データは逆量子化回路12及び
IDCT回路14によつて局所的に復号されて演算器1
5に送出される。
【0065】演算器15はIDCT回路14から送出さ
れる差分データに、動き補償回路17から送出される予
測参照画像の画像データを加算する。これにより局所的
に復号したBピクチヤの画像データが得られる。ここで
Bピクチヤは他の画像の予測画像として使用されないの
で、フレームメモリ16には格納されない。
【0066】(2−1)量子化制御部の構成 ここで映像信号符号化装置1における量子化制御部7の
構成について説明する。図2に示すように、量子化制御
部7は、以下に説明する量子化制御アルゴリズに応じた
プログラムを記録媒体としてのROM(Read Only Memo
ry)7Aに格納しており、CPU7Bがこの量子化制御
アルゴリズムに従つて量子化回路10において各マクロ
ブロツクを量子化する際に用いる量子化ステツプMQUANT
を、RAM(Random Access Memory)7Cをワークエリ
アとして用いて算出し、当該量子化ステツプMQUANTを量
子化回路10に送出する。
【0067】量子化制御部7における量子化制御アルゴ
リズムについて図3及び図4に示すフローチヤートを用
いて説明する。ここでこの映像信号符号化装置1は、符
号化方法として可変レート符号化方式を採用しており、
量子化制御アルゴリズムを開始する前に、まずデイジル
タ映像信号S1を固定の量子化ステツプで符号化した際
に発生した発生符号量に基づいて各フレーム毎の割当て
符号量Ti を決定し、当該各フレーム毎の割当て符号量
i を量子化制御部7のRAM7Cに格納しているもの
とする。
【0068】実際上、量子化制御部7は固定の量子化ス
テツプQSを量子化回路10に送出する。量子化回路1
0は、量子化制御部7によつて指定された量子化ステツ
プQSに基づいて、DCT回路9から出力されるDCT
係数を量子化して可変長符号化回路11に送出する。可
変長符号化回路11は、量子化回路10からの出力を可
変長符号化して、当該符号化結果を量子化制御部7に送
出する。量子化制御部7は、可変長符号化回路11から
の出力に基づいて、各フレーム毎に実際に発生した発生
符号量を算出し、当該発生符号量に基づいて各フレーム
毎の割当て符号量Ti を算出し、RAM7Cに格納す
る。
【0069】CPU7Bは、ステツプSP1より量子化
制御アルゴリズムを開始し、ステツプSP2において、
デイジタル映像信号S1における最初のGOP中におい
て符号化順序で最初のIピクチヤの最初のマクロブロツ
クについての量子化ステツプqIPREVの初期値を「10」
に設定する。また最初のGOP中において符号化順序で
最初のPピクチヤの最初のマクロブロツクについての量
子化ステツプqPPREVとして、Iピクチヤにおける最後
のマクロブロツクについての参照量子化ステツプQ(第
1の量子化ステツプ)にkP (kP = 1.0)を乗じた値
を設定し、最初のGOP中において符号化順序で最初の
Bピクチヤの最初のマクロブロツクについての量子化ス
テツプqBPREVとして、Iピクチヤにおける最後のマク
ロブロツクについての参照量子化ステツプQにkB (k
B = 1.0)を乗じた値を設定する。ここでKP = 1.0、
B = 1.4であり、上述したテストモデルの場合と同様
にIピクチヤに対する粗さの程度を表す。
【0070】ここで実際上、量子化制御は各ピクチヤ毎
に符号化順に行われるので、ステツプSP2において、
最初のGOP中において符号化順序で最初のPピクチヤ
及びBピクチヤにおけるそれぞれ最初のマクロブロツク
についての量子化ステツプqBPREV及びqPPREVは、I
ピクチヤに対する量子化制御が終了してから設定され
る。
【0071】またデイジルタ映像信号S1における最初
のGOP以降のGOPにおいて符号化順序で最初のIピ
クチヤにおける最初のマクロブロツクについての量子化
ステツプqIPREVとして、1つ前のGOPにおける最後
のIピクチヤの最後のマクロブロツクについての参照量
子化ステツプQを用いる。従つて最初のGOP以降のG
OPにおいて符号化順序で最初のPピクチヤ及びBピク
チヤにおける最初のマクロブロツクについての量子化ス
テツプqPPREV及びqIPREVとしては、符号化対象とし
ているGOPにおけるIピクチヤの最後のマクロブロツ
クについての量子化ステツプqIPREVにそれぞれKP
びKB を乗じたものが使用される。
【0072】続いてCPU7Bは、ステツプSP3にお
いて、カウンタcurr_GOP を最初のGOPに設定した
後、ステツプSP4において、符号化対象としているG
OPcurr_GOP に対応する各フレームの割当て符号量T
i をRAM7Cより順次読み出し、符号化対象としてい
るGOPcurr_GOP における1フレーム当たりの平均ビ
ツトレートcurr_brを、平均符号化データ速度として、
次式
【数27】 を用いて算出する。ここでこの映像信号符号化装置1
は、可変レート符号化方式を採用しているので、ステツ
プSP4において算出した平均ビツトレートCurr_brは
GOP毎に変化することになる。
【0073】平均ビツトレートCurr_brの算出処理につ
いて図4に示すフローチヤートを用いて説明する。CP
U7Bは、ステツプSP20より平均ビツトレートCurr
_brの算出処理を開始し、ステツプSP21において、
フレーム数をカウントするカウンタのカウンタ値kを初
期化すると共に、符号化対象としているGOPcurr_GO
P 中における各フレームの割当て符号量Ti の累積値を
演算する演算器の累計値sum を初期化した後、ステツプ
SP22において、符号化対象としているGOPcurr_
GOP中のk番目のフレームの割当て符号量Tk を演算器
の累積値sum に足し込む。
【0074】続いてCPU7Bは、ステツプSP23に
おいて、カウンタのカウント値kと符号化対象としてい
るGOPcurr_GOP 中のフレーム数Nとを比較し、カウ
ンタのカウント値kとフレーム数Nとが一致していない
と判断したときには、当該GOPcurr_GOP 中の全ての
フレームについての割当て符号量Ti が累積値sum に累
積されていないと判断してステツプSP24に進み、カ
ウンタのカウント値kをインクリメントしてステツプS
P22に進む。
【0075】すなわちCPU7Bは、符号化対象として
いるGOPcurr_GOP 中の全てのフレームの割当て符号
量Ti の累積値sum を得るまでステツプSP22からス
テツプSP24までの処理ループを実行する。CPU7
Bは、ステツプSP23において肯定結果を得ると、ス
テツプSP25に進んで、累積値sum 及びピクチヤレー
ト Picture_rateに基づいて、符号化対象としているG
OPcurr_GOP における1フレーム当たりの平均ビツト
レートCurr_brを算出し、ステツプSP26において平
均ビツトレートCurr_brの算出処理を終了してメインル
ーチンのステツプSP5に進む。
【0076】CPU7Bは、ステツプSP5において、
平均ビツトレートCurr_br及びピクチヤレート Picture
_rateに基づき、次式
【数28】 を用いて第1のパラメータrを算出する。すなわちCP
U7Bは、単位時間当たりに伝送されてくるフレーム画
像のデータ量(ピクチヤレート Picture_rate)に対す
る平均ビツトレートCurr_br(平均符号化データ速度)
の割合いで表される第1のパラメータrを算出する。こ
こでステツプSP4において算出した平均ビツトレート
Curr_brはGOP毎に変化するので、これに連動して第
1のパラメータrもGOP毎に変化することになる。
【0077】次いでCPU7Bは、ステツプSP6にお
いて、符号化対象としているGOPcurr_GOP の1つ前
のGOPにおける各ピクチヤタイプの最後のフレームに
おける最後のマクロブロツクの量子化ステツプq
PREV、qPPREV又はqBPREV(すなわち後述する参照
量子化ステツプQ)と、ステツプSP5において算出し
た第1のパラメータrとに基づき、次式
【数29】
【数30】
【数31】 をそれぞれ用いて、符号化対象としているマクロブロツ
クjについての参照量子化ステツプQj を算出する際に
用いる各ピクチヤタイプ毎の仮想的なバツフアの充満度
dI0 、dP0 及びdB0 を第3のパラメータとして算
出する。
【0078】ここで従来のテストモデルは、第1のパラ
メータrが固定であつた(すなわちビツトレートが固定
であつた)ため学習効果を利用することができたが、本
発明では、ビツトレートがGOP毎に変化するために第
1のパラメータrもGOP毎に変化するため、そのまま
では学習効果を得ることができない。このため本発明に
おいては、第1のパラメータrの変化に伴つて仮想的な
バツフアの充満度をGOP毎に計算する。
【0079】また最初のGOP中における符号化順序で
最初のピクチヤとなるIピクチヤの最初のマクロブロツ
クについての参照量子化ステツプQを算出する際に用い
るIピクチヤ用の仮想的なバツフアの充満度dI0 を算
出するために必要となる量子化ステツプqIPREV(ステ
ツプSP6)は、「10」となる。
【0080】次いでCPU7Bは、ステツプSP7にお
いて、符号化対象としているフレームCurr_frame を符
号化対象としているGOPcurr_GOP 中の最初のフレー
ムに設定した後、ステツプSP8において、フレームカ
ウンタjを初期化する。続いてCPU7Bは、ステツプ
SP9において、次式
【数32】 を用いて、符号化対象としているフレームCurr_frame
についての仮想的なバツフアの充満度d*j を第2のパ
ラメータとして算出する。
【0081】ここでCPU7Bは、(32)式における
d*0 として、各ピクチヤタイプに応じて、ステツプS
P6において算出した仮想的なバツフアの充満度d
0 、dP0 又はdB0 を初期値として用いる。従つて
ステツプSP6において算出した仮想的なバツフアの充
満度dI0 、dP0 又はdB0 は、第1のパラメータr
がGOP毎に変動すると共に、後述するように量子化ス
テツプqIPREV、qPPREV及びqBPREVもGOP毎に変
動するので、仮想的なバツフアの充満度d*0 (すなわ
ち第3のパラメータdI0 、dP0 及びdB0 )はGO
P毎に更新されることになる。
【0082】ここでBj-1 は符号化対象としているフレ
ームCurr_frame における最初のマクロブロツクから
(j−1)番目のマクロブロツクまでに実際に発生した
発生符号量の合計を表し、Tcurr_frame は符号化対象
としているフレームCurr_frame の割当て符号量Tを表
す。従つてd*j は、符号化対象としているフレームの
j番目のマクロブロツクについての参照量子化ステツプ
j を算出する際に用いる仮想的なバツフアの充満度を
表している。さらにMB_cnt は、符号化対象としている
フレームにおけるマクロブロツク数を表す。
【0083】すなわちCPU7Bは、ステツプSP6に
おいて算出した各ピクチヤタイプ毎の第3のパラメータ
としての仮想的なバツフアの充満度d*0 (すなわちd
0、dP0 又はdB0 )を初期値として、当該第3の
パラメータに、(j−1)番目のマクロブロツクまでに
実際に発生した発生符号量Bi-1 と、符号化対象として
いるフレームCurr_frame の割当て符号量Tcurr_
frame を符号化対象としているフレームCurr_frame の
各マクロブロツクに均等に割り当てたと想定したときの
j−1番目までの想定割当て符号量の合計((j−1)
×Tcurr_frame /MB_cnt)との差分(マクロブ
ロツク毎の差分)を反映させたものを、符号化対象とし
ているマクロブロツクjについての参照量子化ステツプ
j を算出する際に用いる仮想的なバツフアの充満度d
j (dIj 、dPj 又はdBj )を第2のパラメータ
として算出する。これにより、ステツプSP5において
算出した第1のパラメータrが、符号化対象としている
GOPCurr_GOP において変化しないように、第2のパ
ラメータとしての仮想的なバツフアの充満度d*j を制
御するようになされている。
【0084】次いでCPU7Bは、ステツプSP10に
おいて、第1のパラメータr及び第2のパラメータとし
ての仮想的なバツフアの容量d*j に基づき、次式
【数33】 を用いて、符号化対象としているマクロブロツクjの参
照量子化ステツプQj を算出した後、ステツプSP11
において、ステツプSP6における量子化ステツプq*
prev(qIprev、qPprev又はqBprev)を当該参照量
子化ステツプQjに更新する。
【0085】従つて符号化対象としているGOP中の全
てのフレームについて全てのマクロブロツクについて参
照量子化ステツプQを算出すると、当該GOP中におけ
る各ピクチヤタイプの最後のピクチヤにおける最後のマ
クロブロツクについての参照量子化ステツプQが、次の
GOP中における各ピクチヤタイプの最初のマクロブロ
ツクについての量子化ステツプqIprev、qPprev及び
qBprev(ステツプSP6)として使用され、これによ
り次のGOPにおいて、各ピクチヤタイプ毎に各マクロ
ブロツクについての参照量子化ステツプQを算出する際
に用いる第2のパラメータとしての仮想的なバツフアの
充満度d*j を算出する際に用いる第3のパラメータと
しての仮想的なバツフアの充満度dI0 、dP0 及びd
0 (初期値)が更新される。かくして各GOP毎に第
1のパラメータrが変化しても参照量子化ステツプQの
連続性を保持することができるようになされている。
【0086】続いてCPU7Bは、ステツプSP12に
おいて、上述したテストモデルにおける第3のステツプ
と同様の処理を行うことにより、マクロブロツクjにつ
いての量子化ステツプMQUANTj を第2の量子化ステツプ
として算出する。すなわちCPU7Bは、まずマクロブ
ロツクjを4つのサブブロツク(輝度ブロツク)sblkに
分割した後、4つの各サブブロツクsblkについて、サブ
ブロツクsblkにおける各画素値Pm と、次式
【数34】 を用いて算出した当該サブブロツクsblkにおける各画素
値Pm の平均値Pave との差分を2乗したものを、当該
サブブロツクsblkにおける全ての画素(64個)について
算出し、これら各画素毎に算出した演算結果(Pm −P
ave 2 の合計を当該サブブロツクsblkにおけるアクテ
イビテイ varsblkとして次式
【数35】 を用いて算出し、次式
【数36】 を用いて、4つのサブブロツクsblkのうち、最小のアク
テイビテイ varsblkをもつサブブロツクsblkのアクテイ
ビテイ varsblkをマクロブロツクjについてのアクテイ
ビテイ actj として算出する。
【0087】次いでCPU7Bは、マクロブロツクjに
ついてのアクテイビテイ actj を次式
【数37】 を用いて正規化した後、正規化した係数 N_ actj と、
ステツプSP11で算出した参照量子化ステツプQj
に基づき、次式
【数38】 を用いて、マクロブロツクjについての最終的な量子化
ステツプMQUANTj を算出する。
【0088】続いてCPU7Bは、ステツプSP13に
おいて、符号化対象としているマクロブロツクjが符号
化対象としているフレームCurr_frame における最後の
マクロブロツクか否かを判定し、否定結果を得たときに
は、ステツプSP14に進んで、フレームカウンタjを
インクリメントとし、ステツプSP9からステツプSP
12までの処理を実行する。すなわちCPU7Bは、ス
テツプSP13において肯定結果を得るまで、すなわち
符号化対象としているフレームCurr_frame の全てのマ
クロブロツクについて量子化ステツプMQUANTを算出する
まで、ステツプSP9からステツプSP14までの処理
ループを実行する。
【0089】CPU7Bは、ステツプSP13において
肯定結果を得ると、ステツプSP15に進んで、符号化
対象としているフレームCurr_frame が符号化対象とし
ているGOPCurr_GOP における最後のフレームである
か否かを判定し、否定結果を得たときには、ステツプS
P16に進んで処理対象を次のフレームに設定し、ステ
ツプSP8からステツプSP13までの処理を実行す
る。すなわちCPU7Bは、ステツプSP15において
肯定結果を得るまで、すなわち符号化対象としているG
OPCurr_GOP 中の全てのフレームにおける全てのマク
ロブロツクについて量子化ステツプMQUANTを算出するま
で、ステツプSP8からステツプSP16までの処理ル
ープを実行する。
【0090】CPU7Bは、ステツプSP15において
肯定結果を得ると、ステツプSP17に進んで、符号化
対象としているGOPCurr_GOP がデイジルタ映像信号
S1における最後のGOPであるか否かを判定し、否定
結果を得たときには、ステツプSP18に進んで処理対
象を次のGOPに設定し、ステツプSP4からステツプ
SP17までの処理を実行する。すなわちCPU7B
は、ステツプSP17において肯定結果を得るまで、す
なわち符号化対象としているデイジルタ映像信号S1に
おける全てのGOP中において、全てのフレームにおけ
る全てのマクロブロツクについて量子化ステツプMQUANT
を算出するまで、ステツプSP4からステツプSP18
までの処理ループを実行する。CPU7Bは、ステツプ
SP17において肯定結果を得ると、ステツプSP19
において量子化制御アルゴリズムを終了する。
【0091】量子化制御部7は上述の量子化制御アルゴ
リズムに従つて各マクロブロツク毎に算出した量子化ス
テツプMQUANTを量子化回路11に送出し、量子化回路1
1は、DCT回路9から出力されるDCT係数を量子化
制御部7によつて指定された量子化ステツプMQUANTに基
づいて量子化する。かくしてこの映像信号符号化装置1
は、可変レート符号化方式においても量子化制御し得る
ようになされている。
【0092】(2−2)実施例の動作及び効果 以上の構成において、この映像信号符号化装置1は、G
OP毎にGOPにおける1フレーム当たりの平均符号化
データ速度curr_brを算出し、当該平均符号化データ速
度curr_brを用いてGOP毎に第1のパラメータrを算
出するので、第1のパラメータrを各GOPにおける符
号化データ速度curr_brに応じて変化させることができ
る。
【0093】またこの映像信号符号化装置1は、GOP
中における各ピクチヤタイプ毎の各フレームについての
量子化ステツプQを算出する際に用いる第3のパラメー
タとしての仮想的なバツフアの充満度dIo 、dPo
びdBo を、それぞれ符号化対象としているGOPより
1つ前のGOPにおいて、符号化順序で各ピクチヤタイ
プの最後のフレームにおける最後のマクロブロツクにつ
いての参照量子化ステツプQを用いて更新したので、G
OP毎に第1のパラメータrが変化しても各GOP間に
おける参照量子化ステツプQの連続性を維持することが
できる。
【0094】以上の構成によれば、GOP毎にGOPに
おける1フレーム当たりの平均符号化データ速度curr_
brを算出し、当該平均符号化データ速度curr_brを用い
てGOP毎に第1のパラメータrを算出し、符号化対象
としているGOPより1つ前のGOPにおいて、符号化
順序で各ピクチヤタイプの最後のフレームにおける最後
のマクロブロツクについての参照量子化ステツプQ及び
符号化対象としているGOPについて算出した第1のパ
ラメータrに基づいて、各ピクチヤタイプ毎の各フレー
ムにおける各マクロブロツクについての量子化ステツプ
Qを算出する際に用いる仮想的なバツフアの充満度dI
o 、dPo 及びdBo を第3のパラメータとして算出
し、当該仮想的なバツフアの充満度dIo 、dPo 及び
dBo に、符号化対象としているマクロブロツクjの1
つ前のマクロブロツクまでに実際に発生した発生符号量
の合計と、符号化対象としているマクロブロツクjの1
つ前のマクロブロツクまでの想定割当て符号量の合計と
の差分を反映させたものをそれぞれのピクチヤタイプ毎
に第2のパラメータとしての仮想的なバツフアの充満度
dIj 、dPj 及びdBj として算出し、当該仮想的な
バツフアの充満度dIj 、dPj 又はdBj 及び符号化
対象としているGOPについて算出した第1のパラメー
タrに基づいて、各ピクチヤタイプの各フレームにおけ
る各マクロブロツクについての参照量子化ステツプQを
算出し、当該各参照量子化ステツプQについて画像の複
雑さや動きの激しさを考慮した量子化ステツプMQUANTを
算出したことにより、第1のパラメータrを各GOPに
おける平均符号化データ速度curr_brに応じて変化させ
ることができると共に、GOP毎に第1のパラメータr
が変化しても各GOP間における参照量子化ステツプQ
の連続性を維持することができる。かくして可変レート
符号化方式に対応し得る量子化制御を行うことのできる
映像信号符号化方法及び映像信号符号化装置を実現し得
る。また図3に示すような量子化アルゴリズムをプログ
ラムとして記録媒体(ROM7A)に記録することによ
り、可変レート符号化方式に対応し得る量子化制御を行
うことのできる映像信号符号化装置を実現することがで
きる。
【0095】(3)第3実施例 なお上述の実施例においては、デイジタル映像信号S1
を固定の量子化ステツプに基づいて符号化して発生した
発生符号量に基づいて各フレーム毎の割当て符号量Ti
を決定し、当該各フレーム毎の割当て符号量Ti を量子
化制御部7のRAM7Cに格納した場合について述べた
が、本発明はこれに限らず、デイジタル映像信号S1を
固定の量子化ステツプで符号化して発生した発生符号量
に基づいて各GOP毎の割当て符号量を決定し、当該各
GOP毎の割当て符号量を量子化制御部7のRAM7C
に格納しておくようにしてもよい。この場合、上述のタ
イムモデルにおける第1ステツプにおけるR(GOPに
与えられた残りの符号量)をGOP毎に変えて、この第
1ステツプと同様の処理で各フレームに対して割当て符
号量を割り当てた後、本発明の量子化制御アルゴリズム
を適用する。
【0096】また上述の実施例においては、デイジタル
映像信号S1を固定の量子化ステツプに基づいて符号化
して発生した発生符号量に基づいて決定した各フレーム
毎の割当て符号量Ti を予め量子化制御部7のRAM7
Cに格納しておいた場合について述べたが、本発明はこ
れに限らず、デイジタル映像信号S1を固定の量子化ス
テツプで符号化して発生した発生符号量に基づいて各フ
レーム毎の割当て符号量Ti を決定するステツプを、図
3に示す量子化アルゴリズムの最初の処理ステツプとし
てプログラムしてもよい。
【0097】さらに上述の実施例においては、GOPを
第1の映像単位として平均符号化データ速度を算出した
場合について述べたが、本発明はこれに限らず、図5に
示すように、符号化対象としているフレームを含んで1
つずつフレームをスライドさせていくようにして平均ビ
ツトレートを算出するようにしてもよい。この場合、符
号化対象としているフレームを含んで所定数分スライド
させていくようにしてもよい。またGOPよりも大きな
映像単位、例えば2GOP単位で平均ビツトレートを算
出したり、GOPより小さな単位で平均ビツトレートを
算出するようにしてもよい。この図5においては、N=
6の場合の例である。
【0098】さらに上述の実施例においては、映像信号
符号化装置1において、デイジタル映像信号S1を固定
の量子化ステツプで符号化した際に発生した発生符号量
に基づいて各フレーム毎の割当て符号量Ti を決定し、
当該各フレーム毎の割当て符号量Ti を量子化制御部7
のRAM7Cに格納した場合について述べたが、本発明
はこれに限らず、別の映像信号符号化装置を用いて各フ
レーム毎の割当て符号量を算出し、当該各フレーム毎の
割当て符号量を量子化制御部7に送出してRAM7Cに
格納させるようにしてもよい。
【0099】さらに上述の実施例においては、図3に示
した量子化制御アルゴリズムをプログラムとして有する
ROM7Aを用いて実現した場合について述べたが、本
発明はこれに限らず、図3に示した量子化制御アルゴリ
ズムをハードウエアとして実現するようにしてもよい。
【0100】
【発明の効果】上述のように本発明によれば、第1の映
像単位又は第2の映像単位毎の割当て符号量に基づい
て、第1の映像単位における第2の映像単位当たりの平
均符号化データ速度を算出し、単位時間当たりに伝送さ
れてくる第2の映像単位に応じた画像のデータ量に対す
る平均符号化データ速度の割合いで表される第1のパラ
メータを第1の映像単位毎に算出し、符号化対象として
いる第2の映像単位に対する割当て符号量と、実際に符
号化して発生した発生符号量との差分を第3の映像単位
毎に算出し、当該第3の映像単位毎の差分を、符号化対
象としている第3の映像単位についての第1の量子化ス
テツプを算出する際に反映させるための第2のパラメー
タを算出し、第1のパラメータ及び第2のパラメータに
基づいて符号化対象としている第3の映像単位について
の第1の量子化値を算出することにより、第1のパラメ
ータを各第1の映像単位における平均符号化データ速度
に応じて変化させることができる。かくして可変レート
符号化方式に対応し得る量子化制御を行うことのできる
映像信号符号化方法、映像信号符号化装置及び記録媒体
を実現することができる。
【図面の簡単な説明】
【図1】本発明を適用した映像信号符号化装置の全体構
成を示すブロツク図である。
【図2】量子化制御部の構成を示すブロツク図である。
【図3】量子化制御部における量子化アルゴリズムの説
明に供するフローチヤートである。
【図4】平均ビツトレートの算出処理の処理手順の説明
に供するフローチヤートである。
【図5】他の実施例による平均ビツトレートの算出方法
の説明に供する略線図である。
【符号の説明】
1……映像信号符号化装置、2……画像符号化タイプ指
定回路、3……画像符号化順序並替え回路、4……スキ
ヤンコンバータ、5……予測モード決定回路、6……動
きベクトル検出回路、7……量子化制御回路、7A……
ROM、7B……CPU、7C……RAM、8……演算
回路、9……DCT回路、10……量子化回路、11…
…可変長符号化回路、12……逆量子化回路、13……
バツフア、14……IDCT回路、15……演算器、1
6……フレームメモリ、17……動き補償回路。

Claims (18)

    【特許請求の範囲】
  1. 【請求項1】デイジタル映像信号を固定の量子化ステツ
    プに基づいて符号化することにより発生した発生符号量
    に基づいて第1の映像単位又は第2の映像単位毎の割当
    て符号量を算出し、当該割当て符号量に応じて上記デイ
    ジタル映像信号を符号化する映像信号符号化方法におい
    て、 上記第1の映像単位又は上記第2の映像単位毎の割当て
    符号量に基づいて、上記第1の映像単位における上記第
    2の映像単位当たりの平均符号化データ速度を算出する
    平均符号化データ速度算出ステツプと、 単位時間当たりに伝送されてくる上記第2の映像単位に
    応じた画像のデータ量に対する上記平均符号化データ速
    度の割合いで表される第1のパラメータを上記第1の映
    像単位毎に算出する第1のパラメータ算出ステツプと、 符号化対象としている第2の映像単位に対する割当て符
    号量と、実際に符号化して発生した発生符号量との差分
    を第3の映像単位毎に算出し、当該第3の映像単位毎の
    差分を、符号化対象としている第3の映像単位について
    の第1の量子化ステツプを算出する際に反映させるため
    の第2のパラメータを算出する第2のパラメータ算出ス
    テツプと、 上記第1のパラメータ及び上記第2のパラメータに基づ
    いて上記符号化対象としている第3の映像単位について
    の上記第1の量子化ステツプを算出する第1の量子化ス
    テツプ算出ステツプとを具えることを特徴とする映像信
    号符号化方法。
  2. 【請求項2】上記第2のパラメータ算出ステツプは、 上記第1の映像単位より時間的に1つ前の第1の映像単
    位において、符号化順序で上記第2の映像単位と同じ画
    像タイプの最後の第2の映像単位における最後の上記第
    1の量子化ステツプ及び上記第1のパラメータに基づい
    て算出した第3のパラメータを初期値として、上記第3
    のパラメータに、上記符号化対象としている第2の映像
    単位に対する割当て符号量と、実際に符号化して発生し
    た発生符号量との上記差分を反映させたものを上記第2
    のパラメータとして算出することを特徴とする請求項1
    に記載の映像信号符号化方法。
  3. 【請求項3】上記第1の映像単位は、グループオブピク
    チヤーズでなり、 上記第2の映像単位は、フレーム画像であり、 上記第3の映像単位は、マクロブロツクであることを特
    徴とする請求項1に記載の映像信号符号化方法。
  4. 【請求項4】上記第2の映像単位毎の割当て符号量は、
    上記デイジタル映像信号を固定の量子化ステツプに基づ
    いて符号化することにより発生した発生符号量に基づい
    て上記第1の映像単位毎の割当て符号量を算出し、当該
    第1の映像単位毎の割当て符号量に基づいて決定される
    ことを特徴とする請求項1に記載の映像信号符号化方
    法。
  5. 【請求項5】上記平均符号化データ速度算出ステツプ
    は、 符号化対象としている第2の映像単位を含んで所定数分
    スライドさせていくようにして上記第1の映像単位にお
    ける第2の映像単位当たりの平均符号化データ速度を算
    出することを特徴とする請求項1に記載の映像信号符号
    化方法。
  6. 【請求項6】上記符号化対象としている第3の映像単位
    の各輝度ブロツクにおける画素値に基づいて上記符号化
    対象としている第3の映像単位についてのアクテイビテ
    イを算出し、当該アクテイビテイ及び上記符号化対象と
    している第3の映像単位についての上記第1の量子化ス
    テツプに基づいて上記符号化対象としている第3の映像
    単位についての第2の量子化ステツプを算出する第2の
    量子化ステツプ算出ステツプを具えることを特徴とする
    請求項1に記載の映像信号符号化方法。
  7. 【請求項7】デイジタル映像信号を固定の量子化ステツ
    プに基づいて符号化することにより発生した発生符号量
    に基づいて第1の映像単位又は第2の映像単位毎の割当
    て符号量を算出し、当該割当て符号量に応じて上記デイ
    ジタル映像信号を符号化する映像信号符号化装置におい
    て、 上記第1の映像単位又は上記第2の映像単位毎の割当て
    符号量に基づいて、上記第1の映像単位における上記第
    2の映像単位当たりの平均符号化データ速度を算出する
    平均符号化データ速度算出手段と、 単位時間当たりに伝送されてくる上記第2の映像単位に
    応じた画像のデータ量に対する上記平均符号化データ速
    度の割合いで表される第1のパラメータを上記第1の映
    像単位毎に算出する第1のパラメータ算出手段と、 符号化対象としている第2の映像単位に対する割当て符
    号量と、実際に符号化して発生した発生符号量との差分
    を第3の映像単位毎に算出し、当該第3の映像単位毎の
    差分を、符号化対象としている第3の映像単位について
    の第1の量子化ステツプを算出する際に反映させるため
    の第2のパラメータを算出する第2のパラメータ算出手
    段と、 上記第1のパラメータ及び上記第2のパラメータに基づ
    いて上記符号化対象としている第3の映像単位について
    の上記第1の量子化ステツプを算出する第1の量子化ス
    テツプ算出手段とを具えることを特徴とする映像信号符
    号化装置。
  8. 【請求項8】上記第2のパラメータ算出手段は、 上記第1の映像単位より時間的に1つ前の第1の映像単
    位において、符号化順序で上記第2の映像単位と同じ画
    像タイプの最後の第2の映像単位における最後の上記第
    1の量子化ステツプ及び上記第1のパラメータに基づい
    て算出した第3のパラメータを初期値として、上記第3
    のパラメータに、上記符号化対象としている第2の映像
    単位に対する割当て符号量と、実際に符号化して発生し
    た発生符号量との第3の映像単位毎の差分を反映させた
    ものを上記第2のパラメータとして算出することを特徴
    とする請求項7に記載の映像信号符号化装置。
  9. 【請求項9】上記第1の映像単位は、グループオブピク
    チヤーズでなり、 上記第2の映像単位は、フレーム画像であり、 上記第3の映像単位は、マクロブロツクであることを特
    徴とする請求項7に記載の映像信号符号化装置。
  10. 【請求項10】上記第2の映像単位毎の割当て符号量
    は、上記デイジタル映像信号を固定の量子化ステツプに
    基づいて符号化することにより発生した発生符号量に基
    づいて上記第1の映像単位毎の割当て符号量を算出し、
    当該第1の映像単位毎の割当て符号量に基づいて決定さ
    れることを特徴とする請求項7に記載の映像信号符号化
    装置。
  11. 【請求項11】上記平均符号化データ速度算出手段は、 符号化対象としている第2の映像単位を含んで所定数分
    スライドさせていくようにして上記第1の映像単位にお
    ける第2の映像単位当たりの平均符号化データ速度を算
    出することを特徴とする請求項7に記載の映像信号符号
    化装置。
  12. 【請求項12】上記符号化対象としている第3の映像単
    位の各輝度ブロツクにおける画素値に基づいて上記符号
    化対象としている第3の映像単位についてのアクテイビ
    テイを算出し、当該アクテイビテイ及び上記符号化対象
    としている第3の映像単位についての上記第1の量子化
    ステツプに基づいて上記符号化対象としている第3の映
    像単位についての第2の量子化ステツプを算出する第2
    の量子化ステツプ算出手段を具えることを特徴とする請
    求項7に記載の映像信号符号化装置。
  13. 【請求項13】第1の映像単位又は第2の映像単位毎の
    割当て符号量に基づいて、上記第1の映像単位における
    上記第2の映像単位当たりの平均符号化データ速度を算
    出する平均符号化データ速度算出ステツプと、 単位時間当たりに伝送されてくる上記第2の映像単位に
    応じた画像のデータ量に対する上記平均符号化データ速
    度の割合いで表される第1のパラメータを上記第1の映
    像単位毎に算出する第1のパラメータ算出ステツプと、 符号化対象としている第2の映像単位に対する割当て符
    号量と、実際に符号化して発生した発生符号量との差分
    を第3の映像単位毎に算出し、当該第3の映像単位毎の
    差分を、符号化対象としている第3の映像単位について
    の第1の量子化ステツプを算出する際に反映させるため
    の第2のパラメータを算出する第2のパラメータ算出ス
    テツプと、 上記第1のパラメータ及び上記第2のパラメータに基づ
    いて上記符号化対象としている第3の映像単位について
    の上記第1の量子化ステツプを算出する第1の量子化ス
    テツプ算出ステツプとが記録されていることを特徴とす
    る記録媒体。
  14. 【請求項14】上記第2のパラメータ算出ステツプは、 上記第1の映像単位より時間的に1つ前の第1の映像単
    位において、符号化順序で上記第2の映像単位と同じ画
    像タイプの最後の第2の映像単位における最後の上記第
    1の量子化ステツプ及び上記第1のパラメータに基づい
    て算出した第3のパラメータを初期値として、上記第3
    のパラメータに、上記符号化対象としている第2の映像
    単位に対する割当て符号量と、実際に符号化して発生し
    た発生符号量との第3の映像単位毎の差分を反映させた
    ものを上記第2のパラメータとして算出することを特徴
    とする請求項13に記載の記録媒体。
  15. 【請求項15】上記第1の映像単位は、グループオブピ
    クチヤーズでなり、 上記第2の映像単位は、フレーム画像であり、 上記第3の映像単位は、マクロブロツクであることを特
    徴とする請求項13に記載の記録媒体。
  16. 【請求項16】デイジタル映像信号を固定の量子化ステ
    ツプに基づいて符号化した際に発生した発生符号量に基
    づいて上記第1の映像単位又は上記第2の映像単位毎の
    割当て符号量を決定する割当て符号量決定ステツプが記
    録されていることを特徴とする請求項13に記載の記録
    媒体。
  17. 【請求項17】上記平均符号化データ速度算出ステツプ
    は、 符号化対象としている第2の映像単位を含んで所定数分
    スライドさせていくようにして上記第1の映像単位にお
    ける第2の映像単位当たりの平均符号化データ速度を算
    出することを特徴とする請求項13に記載の記録媒体。
  18. 【請求項18】上記符号化対象としている第3の映像単
    位の各輝度ブロツクにおける画素値に基づいて上記符号
    化対象としている第3の映像単位についてのアクテイビ
    テイを算出し、当該アクテイビテイ及び上記符号化対象
    としている第3の映像単位についての上記第1の量子化
    ステツプに基づいて上記符号化対象としている第3の映
    像単位についての第2の量子化ステツプを算出する第2
    の量子化ステツプ算出ステツプが記録されていることを
    特徴とする請求項13に記載の記録媒体。
JP30697396A 1996-10-31 1996-10-31 映像信号符号化方法及び映像信号符号化装置 Expired - Fee Related JP3937248B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP30697396A JP3937248B2 (ja) 1996-10-31 1996-10-31 映像信号符号化方法及び映像信号符号化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30697396A JP3937248B2 (ja) 1996-10-31 1996-10-31 映像信号符号化方法及び映像信号符号化装置

Publications (2)

Publication Number Publication Date
JPH10136354A true JPH10136354A (ja) 1998-05-22
JP3937248B2 JP3937248B2 (ja) 2007-06-27

Family

ID=17963500

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30697396A Expired - Fee Related JP3937248B2 (ja) 1996-10-31 1996-10-31 映像信号符号化方法及び映像信号符号化装置

Country Status (1)

Country Link
JP (1) JP3937248B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1954058A2 (en) 2007-01-31 2008-08-06 Sony Corporation Information processing
JP2008533844A (ja) * 2005-03-10 2008-08-21 クゥアルコム・インコーポレイテッド ビデオ・レート制御における状況適応帯域幅調節
US8422565B2 (en) 2007-05-17 2013-04-16 Sony Corporation Information processing device and method, and information processing system
US8432967B2 (en) 2007-01-31 2013-04-30 Sony Corporation Information processing apparatus and method for encoding image data to generate encoded data

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008533844A (ja) * 2005-03-10 2008-08-21 クゥアルコム・インコーポレイテッド ビデオ・レート制御における状況適応帯域幅調節
EP1954058A2 (en) 2007-01-31 2008-08-06 Sony Corporation Information processing
US8107755B2 (en) 2007-01-31 2012-01-31 Sony Corporation Information processing apparatus and method
US8432967B2 (en) 2007-01-31 2013-04-30 Sony Corporation Information processing apparatus and method for encoding image data to generate encoded data
US8422565B2 (en) 2007-05-17 2013-04-16 Sony Corporation Information processing device and method, and information processing system

Also Published As

Publication number Publication date
JP3937248B2 (ja) 2007-06-27

Similar Documents

Publication Publication Date Title
JP2818340B2 (ja) モーション・ビデオ圧縮システムおよび方法
US7460597B2 (en) Encoding apparatus and method
KR100610520B1 (ko) 비디오 데이터 부호화 장치, 비디오 데이터 부호화 방법, 비디오데이터 전송 장치 및 비디오 데이터 기록 매체
KR100512389B1 (ko) 영상데이터의 압축장치 및 그 방법
US5933532A (en) Video data compression apparatus and method of same
JPH03267877A (ja) 画像符号化装置及びその方法
KR19980025048A (ko) 영상 신호 부호화 방법 및 장치
US7054497B2 (en) Method and system for optimizing image sharpness during coding and image enhancement
JP4295828B2 (ja) 領域情報で符号化する方法
JPH10164588A (ja) 映像信号符号化方法、映像信号符号化装置及び記録媒体
JPH09294267A (ja) 画像圧縮符号化装置
JP3937248B2 (ja) 映像信号符号化方法及び映像信号符号化装置
JPH10243397A (ja) 画像符号化方法および画像符号化装置、画像伝送方法および画像伝送装置、並びに記録媒体
JPH08307860A (ja) シーン再エンコード装置
US20050129112A1 (en) Data processing apparatus and method and encoding device of same
JPH10108197A (ja) 画像符号化装置、画像符号化制御方法および画像符号化制御用プログラムを記録した媒体
JP2001008207A (ja) 動画像符号化装置及びその方法
KR100809013B1 (ko) 복잡도 가변형 동영상 부호화 장치 및 그 방법
JP3652889B2 (ja) 映像符号化方法、映像符号化装置、記録媒体、及び映像通信システム
JP3765129B2 (ja) 符号化装置および符号化方法
JP2830184B2 (ja) 映像信号符号化装置及び映像信号符号化方法
JPH09261633A (ja) 映像データ圧縮装置およびその方法
JPH1066068A (ja) 映像データ圧縮装置およびその方法
JPH09284772A (ja) 映像データ圧縮装置およびその方法
JPH04331592A (ja) 動画像符号化装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070315

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100406

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110406

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120406

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees