JP3646849B2 - Stereo moving image encoding device - Google Patents

Stereo moving image encoding device Download PDF

Info

Publication number
JP3646849B2
JP3646849B2 JP16434798A JP16434798A JP3646849B2 JP 3646849 B2 JP3646849 B2 JP 3646849B2 JP 16434798 A JP16434798 A JP 16434798A JP 16434798 A JP16434798 A JP 16434798A JP 3646849 B2 JP3646849 B2 JP 3646849B2
Authority
JP
Japan
Prior art keywords
channel
step size
quantization
basic
quantization step
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP16434798A
Other languages
Japanese (ja)
Other versions
JPH11341520A (en
Inventor
整 内藤
修一 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP16434798A priority Critical patent/JP3646849B2/en
Publication of JPH11341520A publication Critical patent/JPH11341520A/en
Application granted granted Critical
Publication of JP3646849B2 publication Critical patent/JP3646849B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【0001】
【発明の属する技術分野】
この発明はステレオ動画像用符号化装置に関し、特に、一方のチャンネルに動き補償を施して動きベクトルおよび予測誤差を伝送し、他方のチャンネルに動き補償と視差補償を施し、動きベクトル、視差ベクトルおよび予測誤差を伝送するステレオ動画像用符号化装置に関する。
【0002】
【従来の技術】
従来のステレオ動画像の符号化装置の一例を、図9のブロック図を参照して説明する。ステレオ動画像符号化装置は左右のチャンネルの動画像を符号化する二つの符号化装置から構成されている。
【0003】
左チャンネル(または、基本チャンネル)の符号化装置は、原画を記憶する原画フレームメモリ11と、予測誤差信号を生成する減算器12と、該減算器12から出力された予測誤差信号を直交変換、例えばDCT変換する直交変換部13と、直交変換されたデータを量子化する量子化部14と、該量子化されたデータを可変長符号化する可変長符号化部15を備えている。また、さらに、前記量子化部14で量子化されたデータを逆量子化する逆量子化部16と、逆直交変換部17と、加算器18と、再生画を一時的に記憶する再生画フレームメモリ19と、前記原画フレームメモリ11からの原画と前記再生画とで動き補償を行う動き補償部20と、予測画フレームメモリ21とを具備している。
【0004】
一方、右チャンネル(または、拡張チャンネル)の符号化装置は、予測モード選択部41および視差補償部43を除いて、前記左チャンネルの符号化装置の構成と同様の構成31〜40および42を具備している。なお、前記再生画フレームメモリ19からの再生画は視差補償部43に入力されるように構成されている。 上記の構成において、左チャンネルは、通常の(動き補償+DCT)に基づく符号化が行われる。一方、右チャンネルでは、(動き補償または視差補償+DCT)に基づく符号化が行われる。すなわち、前記予測モード選択部41は動き補償部40と視差補償部43の両方のうちの予測誤差の小さい方を選択し、予測画フレームメモリ42に接続する。この動作以外は、左チャンネルと同様の動作が行われる。
【0005】
さて、前記した従来のステレオ動画像の符号化装置においては、基本チャンネルと拡張チャンネルの符号化効率の差を考慮に入れて符号化ビット数の配分を決定することにより、左右間の画質が均等に保てるように制御していた。
【0006】
【発明が解決しようとする課題】
しかしながら、前記した従来技術においては、符号化ビット数の配分は一律であったり、過去の符号化結果からこれに後続する符号化単位(複数フレーム)に対する符号化ビット数の配分を決定したりするため、ピクチャのシーンの特徴の変動に応じて制御誤差が生じ、左右間の画質のバランスが保てなくなるという問題があった。
【0007】
本発明の目的は、前記した従来技術の問題点を除去し、ピクチャのシーンの特徴に変動が生じても、左の画質を右よりも常に高く保て、従来技術よりも高い符号化効率を実現することのできるステレオ動画像用符号化装置を提供することにある。
【0008】
【課題を解決するための手段】
上記の目的を達成するために、本発明は、一方のチャンネルを基本チャンネルとして動き補償符号化を適用し、他方のチャンネルを拡張チャンネルとして動き補償符号化および視差補償符号化を併用するステレオ動画像用符号化装置において、前記基本チャンネルの量子化ステップサイズが前記拡張チャンネルの量子化ステップサイズより小さくなるようにする手段を具備し、前記基本チャンネルの量子化ステップサイズを拡張チャンネルのそれに比べて小さく保つようにし、かつ前記基本チャンネルの量子化ステップサイズが予め定められた値より大きくなる場合に、前記拡張チャンネルの量子化ステップサイズが前記基本チャンネルの量子化ステップサイズより大きくするのを禁止する手段をさらに具備した点に第1の特徴がある。
【0010】
前記第1の特徴によれば、基本チャンネルの符号化ビット数を拡張チャンネルの符号化ビット数より、常に多く割り当てることができるようになるので、ピクチャのシーンの特徴に変動が生じても、左の画質を右よりも常に高く保て、従来技術よりも高い符号化効率を実現することができるようになる。
【0011】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図1は、本発明の一実施形態のステレオ動画像用符号化装置の要部の構成を示すブロック図であり、本発明と直接関係のない構成は図示を省略されている。なお、図1中の図9と同符号は同一または同等物を示す。
【0012】
図において、マクロブロック情報保存テーブル22は動き補償部20から得たマクロブロック情報(例えば、符号化モード等)を保存する。送信待ちバッファ23は可変長符号化器15で可変長符号化されたデータを一時的に蓄積し、該データを送出する回線とのマッチングをとる。発生ビット数算出部24は1ピクチャ(1フレーム)毎に、ピクチャ符号化開始時から発生したビット数を算出する。仮想バッファ占有量算出部25は後で詳述するように、仮想バッファの占有量を算出する。割当てビット配分設定部26はピクチャ単位で基本チャンネル(左)と拡張チャンネル(右)とに割り当てるビット数を設定する。本実施形態では、拡張チャンネルの再生画像は拡張チャンネルのみからしか参照されないのに対して、基本チャンネルの再生画像は双方のチャンネルから参照されるため、基本チャンネルに割り当てるビット数を拡張チャンネルに割り当てるビット数よりもやや多めに、例えば10%程度多めに設定する。
【0013】
次に、マクロブロック情報保存テーブル44は、動き補償部40および視差補償部43から予測モード選択部41の動作と同期して得たマクロブロック情報(例えば、符号化モード等)を保存する。送信待ちバッファ45、発生ビット数算出部46および仮想バッファ占有量算出部47の動作は前記送信待ちバッファ23、発生ビット数算出部24および仮想バッファ占有量算出部25の動作と同じであるので説明を省略する。多重化器27は、基本チャンネルと拡張チャンネルの符号化データを多重化して回線28に送出する。
【0014】
上記した構成を有する本実施形態のステレオ動画像用符号化装置の動作を、以下に説明する。基本(左)チャンネルの原画像がピクチャ単位で基本チャンネルの減算器12に入力すると、該減算器12は原画像と予測画フレームメモリ21から入力される予測画信号との差を取り、予測誤差信号を生成する。生成された予測誤差信号は直交変換部13で直交変換され、量子化器14に入力する。該量子化器14は図2のフローチャートで説明する処理により、量子化ステップサイズを決定され、前記直交変換されたデータを該量子化ステップサイズで除算することにより、量子化レベルを算出する。該量子化器14から出力された量子化レベルは可変長符号化器15で可変長符号化され、送信待ちバッファ23に一時的に蓄積される。
【0015】
一方、拡張(右)チャンネルの原画像がピクチャ単位で拡張チャンネルの減算器32に入力すると、該減算器32は原画像と予測画フレームメモリ42から入力される予測画信号との差を取り、予測誤差信号を生成する。なお、該予測画フレームメモリ42には、動き補償部40と視差補償部43の両方のうちの予測誤差の小さい方が前記予測モード選択部41によって選択されて接続される。また、該選択と同期して、マクロブロック情報保存テーブル44にマクロブロック情報が格納される。上記のようにして生成された予測誤差信号は、直交変換部33で直交変換されるが、以降の動作は前記した基本チャンネルの動作と同様であるので、説明を省略する。
【0016】
次に、前記量子化器14および34の量子化ステップサイズを決定する動作を図2のフローチャートを参照して説明する。なお、該量子化ステップサイズを決定する動作は量子化器14および34の両方において同じであるので、量子化器14における動作を説明し、量子化器34における動作の説明は省略する。
【0017】
発生ビット数算出部24は、ステップS1にて、前記送信待ちバッファ23が可変長符号化器15によって符号化された前記ピクチャのデータを取得し始めたか否かの判断をする。この判断が肯定になると、該発生ビット数算出部24は、送信待ちバッファ23のデータ占有量d0 を送信待ちバッファ23から取得する。次いで、該発生ビット数算出部24は、ステップS3にて、ピクチャ符号化開始時からの発生ビット数sを算出する。前記ピクチャ符号化開始時のデータ占有量d0 と、ピクチャ符号化開始時からの発生ビット数sは、仮想バッファ占有量算出部25に送られる。
【0018】
ステップS4では、前記仮想バッファ占有量算出部25は、下記の(1) 式にて、仮想バッファ占有量dを算出する。
d=d0 +s−j・(T1 /NMB)…(1)
ここに、NMBはピクチャ内のマクロブロック数、j(=0,1,…,NMB−1)は当該マクロブロックの位置、T1 は当該ピクチャのターゲット(目標)ビットレートである。なお、拡張チャンネルの当該ピクチャのターゲットビットレートはT2 となっており、本実施形態では、T1 ≧T2 とされている。
【0019】
次に、ステップS5に進むと、量子化器14は当該マクロブロックの符号化モード、アクティビティ、および前記仮想バッファ占有量dを取得して、量子化ステップサイズの算出を行う。該量子化ステップサイズの算出方法について、以下に説明する。
【0020】
まず、マクロブロック毎に、量子化パラメータ(mquant) を、次の(2) 式により算出する。
mquant=Qj ×Nactj …(2)
ここに、Qj =32×d/r
r=2×(ビットレート)/(ピクチャレート)
actj=(2×act j +avg-act )/(act j +2×avg-act )
なお、act j は当該マクロブロックのアクティビティ、avg-act は直前ピクチャのact j の平均である。前記ビットレートは1チャンネル分に相当し、左右トータルのビットレートをT1 、T2 の比率に応じて配分した値である。また、前記ピクチャレートは1秒間に符号化されるピクチャ数で、一般的には、ピクチャレート=30である。
【0021】
上記の式(2) にて量子化パラメータ(mquant) が求まると、次に、直交変換の係数位置に応じた重みを該量子化パラメータ(mquant) に掛けて、量子化ステップサイズとする。
【0022】
再び図2に戻って、ステップS6に進むと、前記直交変換の係数を前記量子化ステップサイズで除算して量子化レベルを算出する。ステップS7では、量子化処理が終了したか否かの判断を行い、該判断が否定の時には、ステップS3に戻って、前記した処理を続行する。
【0023】
上記した量子化処理が、基本チャンネルおよび拡張チャンネルで実行されると、前記割当てビット配分設定部26におけるピクチャのターゲットビットレートの割当ては、(基本チャンネルのピクチャのターゲットビットレートT1 )≧(拡張チャンネルのピクチャのターゲットビットレートT2 )となっているから、前記の各式から明らかなように、ピクチャ毎に、常に基本チャンネルの量子化ステップサイズが拡張チャンネルの量子化ステップサイズより所定量だけ小さくなる。したがって、ピクチャのシーンの特徴に変動が生じても、左の画質を右よりも常に高く保て、従来技術よりも高い符号化効率を実現することができるようになる。
【0024】
次に、本発明の第2実施形態を図3を参照して説明する。図3の図1と同符号は、同一または同等物を示す。この実施形態の特徴は、基本チャンネルおよび拡張チャンネル共通の仮想バッファ占有量dを算出し、該仮想バッファ占有量dの割り当てを、基本チャンネルに対する割り当てより拡張チャンネルに対する割り当てを大きくした点に特徴がある。
【0025】
図3において、51は1ピクチャ(1フレーム)毎に、ピクチャ符号化開始時から発生したビット数を算出する発生ビット数算出部、52は仮想バッファ占有量算出部、53は基本チャンネルおよび拡張チャンネルの2ピクチャに対する割当てビット数Tを設定する割当てビット数設定部である。また、54は前記仮想バッファ占有量dに1/2を掛け算する1/2掛算器、55は該仮想バッファ占有量dにWR (ただし、WR ≧1/2)を掛け算するWR 掛算器である。なお、本実施形態では1/2掛算器54を用いたが、1/2掛算器に限定されるものではなく、1/n(nは正の実数)掛算器であっても良い。
【0026】
次に、本実施形態の動作を説明する。前記第1実施形態と同様に、基本チャンネルの入力画像(ピクチャ)は直交変換部13でその予測誤差信号が直交変換され、量子化器14で量子化され、可変長符号化器15で可変長符号化される。同様に、拡張チャンネルの入力画像は直交変換部33でその予測誤差信号が直交変換され、量子化器34で量子化され、可変長符号化器35で可変長符号化される。そして、該可変長符号化されたデータは、基本チャンネルおよび拡張チャンネル共通の送信待ちバッファ23に一時的に記憶され、所定のビットレートで回線28に送出される。
【0027】
また、発生ビット数算出部51は、送信待ちバッファ23のデータ占有量d0 を送信待ちバッファ23から取得すると共に、当該ピクチャの符号化開始時からの発生ビット数sを算出し、該データ占有量d0 と発生ビット数sを仮想バッファ占有量算出部52に供給する。仮想バッファ占有量算出部52は該データ占有量d0 と発生ビット数s、および割当てビット数設定部53から供給された割当てビット数Tとを入力され、前記(1) 式により仮想バッファ占有量dを算出する。なお、この第2実施形態では、(1) 式のT1 に代えて、Tを用いる。
【0028】
次いで、前記仮想バッファ占有量dは1/2掛算器54とWR 掛算器55に入力し、その演算結果であるd1 とd2 はそれぞれ基本チャンネルの量子化器14と拡張チャンネルの量子化器34に送られる。該基本チャンネルの量子化器14および拡張チャンネルの量子化器34は、それぞれ、前記(2) 式により量子化パラメータ(mquant) を求め、第1実施形態で説明したのと同様の方法により、ピクチャの直交変換データに対して量子化レベルを算出する。
【0029】
図4は、前記量子化器14および34の量子化ステップサイズを決定する動作を示すフローチャートである。なお、図2と同ステップは、同一または同等のステップを示す。
【0030】
ステップS1では、当該ピクチャの直交変換データが送信待ちバッファ23にて取得されたか否かの判断がなされ、この判断が肯定になると、ステップS2に進んで、発生ビット数算出部51は該送信待ちバッファ23のデータ占有量d0 を取得する。次に、ステップS11では、発生ビット数算出部51は基本および拡張チャンネルの当該ピクチャの符号化開始時からの発生ビット数sを算出する。次に、ステップS4では、仮想バッファ占有量算出部52は、前記(1) 式により、仮想バッファ占有量dを算出する。ステップS12では、基本チャンネルか否かの判断がなされ、この判断が肯定の時には、ステップS13に進んで、1/2掛算器54により基本チャンネルに割当てる仮想バッファ占有量d1 が求められる。一方、前記判断が否定の時には、ステップS14に進んで、WR 掛算器55により拡張チャンネルに割当てる仮想バッファ占有量d2 が求められる。
【0031】
次に、ステップS5では、基本チャンネルの量子化器14は、前記仮想バッファ占有量d1 、前記マクロブロック情報保存テーブル22からの符号化モードおよびアクティビティから、第1実施形態と同様に量子化パラメータならびに量子化ステップサイズを決定する。ステップS6では、直交変換の係数を前記量子化ステップサイズで除算して、量子化レベルを算出する。一方、ステップS5´では、拡張チャンネルの量子化器34は、前記仮想バッファ占有量d2 、前記マクロブロック情報保存テーブル44からの符号化モードおよびアクティビティから、第1実施形態と同様に量子化パラメータならびに量子化ステップサイズを決定する。そして、ステップS6´では、ステップS6と同様に直交変換の係数を前記量子化ステップサイズで除算して、量子化レベルを算出する。
【0032】
ステップS7では、量子化処理が終了したか否かの判断がなされ、この判断が否定の時にはステップS11に戻って、前記した動作が繰り返される。一方、該判断が肯定になると、量子化の動作は終了する。
【0033】
以上のように、該第2実施形態によれば、基本チャンネルの直交変換係数の量子化を拡張チャンネルのそれに比べて細かく行うことができるので、第1実施形態と同様に、基本チャンネルの再生画質を拡張チャンネルの再生画質に比べて、常に高く保つことができるようになり、ピクチャのシーンの特徴に変動が生じても、左の画質を右よりも常に高く保て、従来技術よりも高い符号化効率を実現することができるようになる。
【0034】
次に、本発明の第3実施形態を、図5および図6を参照して説明する。図5は本実施形態の概略の構成を示すものであり、56は占有量配分設定部を示し、他の符号は図3の同符号と同一または同等物を示す。また、図6は本実施形態の量子化ステップサイズを決定する動作を示すフローチャートであり、図4と同ステップは、同一または同等のステップを示す。
【0035】
この実施形態は、前記占有量配分設定部56において、図6のステップS15〜S17の処理をさせるようにした点に特徴がある。本実施形態では、仮想バッファ占有量閾値dthを設定する。該仮想バッファ占有量閾値dthは拡張チャンネルの画質の許容限界に対応する値であり、ステップS15の判断が肯定になると、ステップS16に進み、否定になるとステップS17に進むようにする。
【0036】
すなわち、ステップS15では、仮想バッファ占有量dが前記閾値dthより大きくなったか否かの判断をする。そして、この判断が肯定になった時には、拡張チャンネルの画質が許容できる限界にきているので、拡張チャンネルの画質を基本チャンネルの画質と差を付けないように、あるいは該差が僅差となるように、拡張チャンネルの仮想バッファ占有量d2 =1/2dとする。一方、ステップS15の判断が否定の時には、拡張チャンネルの画質は許容できるので、基本チャンネルの画質とある程度の差を付けるべく、拡張チャンネルの仮想バッファ占有量d2 =WR ×d(ただし、WR ≧1/2)とする。
【0037】
なお、前記の第1〜3実施形態では、量子化器14、34の外部で、それぞれに割当てる仮想バッファ占有量d(d1,d2 )を演算して求めるようにしたが、本発明はこれに限定されず、前記量子化器14、34の内部で演算して求めるようにしても良い。
【0038】
次に、本発明の第4実施形態を、図7および図8を参照して説明する。図7において、61、63はそれぞれ基本チャンネルおよび拡張チャンネルの入力原画像に適用される空間領域フィルタ、具体的にはローパスフィルタである。また、62、64はフィルタ処理後の画像が格納される入力画フレームメモリである。なお、他の符号は、図1および図2の同一符号と同一または同等物を示す。
【0039】
この実施形態の特徴は、前記拡張チャンネルのローパスフィルタ63のフィルタ特性(遮断周波数)を基本チャンネルのローパスフィルタ61のそれより強くし、拡張チャンネルの入力原画像からより多くの高域周波数成分を除去するようにした点にある。
【0040】
図8は、本実施形態の要部の動作を示すフローチャートである。このフローチャートは、基本チャンネルの動作を示すが、拡張チャンネルの動作も同様である。ステップS21では、基本チャンネルの入力原画像が取得され始めたか否かの判断がなされる。この判断が肯定になると、ステップS22に進み、該入力原画像はローパスフィルタ61に入力され、フィルタ処理を受ける。該フィルタ処理により、入力原画像から高域周波数成分が除去される。ステップS23に進むと、該フィルタ処理後の画像が入力画フレームメモリ62に格納される。拡張チャンネルにおいても前記と同様の動作が行われ、フィルタ処理後の画像が入力画フレームメモリ64に格納される。
【0041】
その後、割当てビット数設定部53から供給された割当てビット数Tを用いて、第2実施形態で説明したのと同様に仮想バッファ占有量dを算出し、dを左右チャンネルに均等に配分した上で、基本および拡張チャンネルの量子化処理が行われる。
【0042】
この実施形態によれば、基本チャンネルの符号化器に入力する原画像は、拡張チャンネルの符号化器に入力する原画像に比べて、高域周波数成分を多く含むので、基本チャンネルの再生画質を拡張チャンネルの再生画質に比べて、常に高く保つことができるようになり、ピクチャのシーンの特徴に変動が生じても、左右間の画質のバランスを常に均等に保て、従来技術よりも高い符号化効率を実現することができるようになる。
【0043】
なお、基本チャンネルのローパスフィルタ61を除去して、入力画フレームメモリ62に格納される画像の高域周波数成分が拡張チャンネルの入力画フレームメモリ64に格納される画像に比べて多くなるようにしても良い。また、前記空間領域フィルタ61、63に代えて、時間領域フィルタを用いるようにしても良い。
【0044】
【発明の効果】
以上の説明から明らかなように、本発明によれば、常に、基本チャンネルの再生画質を拡張チャンネルの再生画質に比べて、高く保つことができるようになるので、ピクチャのシーンの特徴に変動が生じても、左の画質を右よりも常に高く保て、従来技術よりも高い符号化効率を実現することができるようになる。
【図面の簡単な説明】
【図1】 本発明の一実施形態の要部の構成を示すブロック図である。
【図2】 本実施形態の量子化処理の動作を示すフローチャートである。
【図3】 本発明の第2実施形態の要部の構成を示すブロック図である。
【図4】 本実施形態の量子化処理の動作を示すフローチャートである。
【図5】 本発明の第3実施形態の要部の構成を示すブロック図である。
【図6】 本実施形態の量子化処理の動作を示すフローチャートである。
【図7】 本発明の第4実施形態の要部の構成を示すブロック図である。
【図8】 本実施形態の要部の動作を示すフローチャートである。
【図9】 従来のステレオ動画像用符号化装置の概略の構成を示すブロック図である。
【符号の説明】
11…原画フレームメモリ、12、32…減算器、13、33…直交変換部、14、34…量子化器、15、35…可変長符号化器、20、40…動き補償部、21、42…予測画フレームメモリ、22、44…マクロブロック情報保存テーブル、23、45…送信待ちバッファ、24、46、51…発生ビット数算出部、25、47、52…仮想バッファ占有量算出部、26…割当てビット配分設定部、27…多重化器、28…回線、41…予測モード選択部、43…視差補償部、53…割当てビット数設定部、54…1/2掛算器、55…WR 掛算器、56…占有量配分設定部、61、63…LPF、62、64…入力画フレームメモリ。
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a coding apparatus for stereo moving images, and in particular, performs motion compensation on one channel to transmit a motion vector and a prediction error, performs motion compensation and disparity compensation on the other channel, and provides a motion vector, a disparity vector, and The present invention relates to an encoding apparatus for stereo video that transmits a prediction error.
[0002]
[Prior art]
An example of a conventional stereo video encoding apparatus will be described with reference to the block diagram of FIG. The stereo moving image encoding device is composed of two encoding devices that encode the moving images of the left and right channels.
[0003]
The left channel (or basic channel) encoding device includes an original picture frame memory 11 that stores an original picture, a subtracter 12 that generates a prediction error signal, and an orthogonal transform of the prediction error signal output from the subtractor 12, For example, an orthogonal transformation unit 13 that performs DCT transformation, a quantization unit 14 that quantizes the orthogonally transformed data, and a variable length coding unit 15 that performs variable length coding on the quantized data are provided. In addition, an inverse quantization unit 16 that inversely quantizes the data quantized by the quantization unit 14, an inverse orthogonal transform unit 17, an adder 18, and a reproduction image frame that temporarily stores the reproduction image. A memory 19, a motion compensation unit 20 that performs motion compensation between the original image from the original image frame memory 11 and the reproduced image, and a predicted image frame memory 21 are provided.
[0004]
On the other hand, the right channel (or extended channel) encoding apparatus includes configurations 31 to 40 and 42 similar to the configuration of the left channel encoding apparatus, except for the prediction mode selection unit 41 and the parallax compensation unit 43. doing. The replay image from the replay image frame memory 19 is configured to be input to the parallax compensation unit 43. In the above configuration, encoding based on normal (motion compensation + DCT) is performed on the left channel. On the other hand, in the right channel, encoding based on (motion compensation or parallax compensation + DCT) is performed. That is, the prediction mode selection unit 41 selects one of the motion compensation unit 40 and the parallax compensation unit 43 with the smaller prediction error and connects it to the prediction image frame memory 42. Except for this operation, the same operation as the left channel is performed.
[0005]
In the above-described conventional stereo video encoding apparatus, the distribution of the number of encoding bits is determined in consideration of the difference in encoding efficiency between the basic channel and the extension channel, so that the image quality between the left and right is equalized. It was controlled so that it could be kept.
[0006]
[Problems to be solved by the invention]
However, in the above-described prior art, the distribution of the number of encoded bits is uniform, or the distribution of the number of encoded bits for the subsequent encoding unit (multiple frames) is determined from past encoding results. Therefore, there is a problem that a control error occurs in accordance with a change in the feature of the picture scene, and the balance between the left and right image quality cannot be maintained.
[0007]
The object of the present invention is to eliminate the above-mentioned problems of the prior art, and to maintain the image quality on the left always higher than that on the right, even if the scene characteristics of the picture fluctuate, and to achieve higher coding efficiency than the prior art. An object of the present invention is to provide an encoding apparatus for stereo video that can be realized.
[0008]
[Means for Solving the Problems]
To achieve the above object, the present invention, one of the channels by applying the motion compensation coding as fundamental channel, stereo images in combination motion compensation encoding and disparity compensated coding the other channel as an extension channel And a means for making the quantization step size of the basic channel smaller than the quantization step size of the extension channel, and making the quantization step size of the basic channel smaller than that of the extension channel. And means for prohibiting the expansion channel quantization step size from becoming larger than the basic channel quantization step size when the basic channel quantization step size is larger than a predetermined value. there is a first aspect further point provided with the.
[0010]
According to the first feature, since the number of encoded bits of the basic channel can always be assigned more than the number of encoded bits of the extended channel, even if the scene characteristics of the picture fluctuate, Therefore, it is possible to achieve higher encoding efficiency than that of the prior art.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration of a main part of a stereo moving image encoding device according to an embodiment of the present invention, and a configuration not directly related to the present invention is not shown. In FIG. 1, the same reference numerals as those in FIG. 9 denote the same or equivalent components.
[0012]
In the figure, a macroblock information storage table 22 stores macroblock information (for example, an encoding mode) obtained from the motion compensation unit 20. The transmission waiting buffer 23 temporarily accumulates the data encoded by the variable length encoder 15 and matches the line that transmits the data. The generated bit number calculation unit 24 calculates the number of bits generated from the start of picture encoding for each picture (one frame). The virtual buffer occupation amount calculation unit 25 calculates the occupation amount of the virtual buffer, as will be described in detail later. The allocation bit allocation setting unit 26 sets the number of bits allocated to the basic channel (left) and the extension channel (right) in units of pictures. In the present embodiment, the playback image of the extension channel is referenced only from the extension channel, whereas the playback image of the basic channel is referenced from both channels, so the number of bits assigned to the base channel is assigned to the extension channel. Set slightly larger than the number, for example, approximately 10%.
[0013]
Next, the macroblock information storage table 44 stores macroblock information (for example, an encoding mode) obtained from the motion compensation unit 40 and the parallax compensation unit 43 in synchronization with the operation of the prediction mode selection unit 41. The operations of the transmission waiting buffer 45, the generated bit number calculating unit 46, and the virtual buffer occupation amount calculating unit 47 are the same as the operations of the transmission waiting buffer 23, the generated bit number calculating unit 24, and the virtual buffer occupation amount calculating unit 25. Is omitted. The multiplexer 27 multiplexes the encoded data of the basic channel and the extension channel and sends them to the line 28.
[0014]
The operation of the stereo video coding apparatus of the present embodiment having the above-described configuration will be described below. When the original image of the basic (left) channel is input to the subtracter 12 of the basic channel in units of pictures, the subtracter 12 takes the difference between the original image and the predicted image signal input from the predicted image frame memory 21 to obtain a prediction error. Generate a signal. The generated prediction error signal is orthogonally transformed by the orthogonal transformation unit 13 and input to the quantizer 14. The quantizer 14 determines the quantization step size by the process described in the flowchart of FIG. 2, and calculates the quantization level by dividing the orthogonally transformed data by the quantization step size. The quantization level output from the quantizer 14 is variable-length encoded by the variable-length encoder 15 and temporarily stored in the transmission waiting buffer 23.
[0015]
On the other hand, when the original image of the extended (right) channel is input to the extended channel subtractor 32 in units of pictures, the subtracter 32 takes the difference between the original image and the predicted image signal input from the predicted image frame memory 42, A prediction error signal is generated. Note that the prediction mode selection unit 41 selects and connects one of the motion compensation unit 40 and the parallax compensation unit 43 with the smaller prediction error to the prediction image frame memory 42. In synchronism with the selection, the macroblock information is stored in the macroblock information storage table 44. The prediction error signal generated as described above is orthogonally transformed by the orthogonal transformation unit 33, but the subsequent operation is the same as the operation of the basic channel described above, and thus the description thereof is omitted.
[0016]
Next, the operation for determining the quantization step size of the quantizers 14 and 34 will be described with reference to the flowchart of FIG. Since the operation for determining the quantization step size is the same in both the quantizers 14 and 34, the operation in the quantizer 14 will be described, and the description of the operation in the quantizer 34 will be omitted.
[0017]
The generated bit number calculation unit 24 determines whether or not the transmission waiting buffer 23 has started to acquire the picture data encoded by the variable length encoder 15 in step S1. If this determination is affirmative, the generated bit number calculation unit 24 acquires the data occupation amount d0 of the transmission waiting buffer 23 from the transmission waiting buffer 23. Next, in step S3, the generated bit number calculation unit 24 calculates the generated bit number s from the start of picture encoding. The data occupancy d0 at the start of picture encoding and the number of generated bits s from the start of picture encoding are sent to the virtual buffer occupancy calculator 25.
[0018]
In step S4, the virtual buffer occupancy calculation unit 25 calculates the virtual buffer occupancy d using the following equation (1).
d = d0 + s-j. (T1 / NMB ) (1)
Here, N MB is the number of macroblocks in the picture, j (= 0, 1,..., N MB −1) is the position of the macroblock, and T1 is the target bit rate of the picture. Note that the target bit rate of the picture of the extension channel is T2, and in this embodiment, T1 ≧ T2.
[0019]
Next, in step S5, the quantizer 14 obtains the encoding mode, activity, and virtual buffer occupation amount d of the macroblock, and calculates the quantization step size. A method for calculating the quantization step size will be described below.
[0020]
First, the quantization parameter (mquant) is calculated for each macroblock by the following equation (2).
mquant = Q j × N actj … (2)
Where Q j = 32 × d / r
r = 2 × (bit rate) / (picture rate)
N actj = (2 x act j + avg-act) / (act j +2 x avg-act)
Act j is the activity of the macroblock, and avg-act is the average of act j of the previous picture. The bit rate corresponds to one channel, and is a value obtained by distributing the left and right total bit rates according to the ratio of T1 and T2. The picture rate is the number of pictures encoded per second, and generally picture rate = 30.
[0021]
When the quantization parameter (mquant) is obtained by the above equation (2), the quantization parameter (mquant) is multiplied by a weight corresponding to the coefficient position of the orthogonal transformation to obtain the quantization step size.
[0022]
Returning to FIG. 2 again, when the process proceeds to step S6, the quantization level is calculated by dividing the coefficient of the orthogonal transform by the quantization step size. In step S7, it is determined whether or not the quantization process is completed. If the determination is negative, the process returns to step S3 to continue the above-described process.
[0023]
When the above-described quantization processing is executed in the basic channel and the extended channel, the allocation of the target bit rate of the picture in the allocation bit allocation setting unit 26 is (target bit rate T1 of the basic channel picture) ≧ (extended channel) Therefore, as is clear from the above equations, the quantization step size of the basic channel is always smaller than the quantization step size of the extension channel by a predetermined amount, as is apparent from the above equations. . Therefore, even if the scene characteristics of the picture change, the left image quality can always be kept higher than that of the right, and higher encoding efficiency than that of the prior art can be realized.
[0024]
Next, a second embodiment of the present invention will be described with reference to FIG. The same reference numerals as those in FIG. 1 in FIG. 3 denote the same or equivalent parts. The feature of this embodiment is that the virtual buffer occupation amount d common to the basic channel and the expansion channel is calculated, and the allocation of the virtual buffer occupation amount d is larger for the expansion channel than for the basic channel. .
[0025]
In FIG. 3, 51 is a generated bit number calculation unit for calculating the number of bits generated from the start of picture encoding for each picture (one frame), 52 is a virtual buffer occupation amount calculation unit, and 53 is a basic channel and an extension channel. This is an assigned bit number setting unit for setting the assigned bit number T for two pictures. Reference numeral 54 denotes a ½ multiplier that multiplies the virtual buffer occupation amount d by ½, and 55 denotes a WR multiplier that multiplies the virtual buffer occupation amount d by WR (where WR ≧ ½). . In this embodiment, the 1/2 multiplier 54 is used. However, the present invention is not limited to the 1/2 multiplier, and may be a 1 / n (n is a positive real number) multiplier.
[0026]
Next, the operation of this embodiment will be described. Similar to the first embodiment, the input image (picture) of the basic channel is orthogonally transformed by the orthogonal transformation unit 13 and quantized by the quantizer 14 and variable length by the variable length encoder 15. Encoded. Similarly, the input image of the extension channel is subjected to orthogonal transform of the prediction error signal by the orthogonal transform unit 33, quantized by the quantizer 34, and variable length coded by the variable length coder 35. The variable length encoded data is temporarily stored in the transmission waiting buffer 23 common to the basic channel and the extension channel, and is transmitted to the line 28 at a predetermined bit rate.
[0027]
The generated bit number calculation unit 51 obtains the data occupation amount d0 of the transmission waiting buffer 23 from the transmission waiting buffer 23, calculates the generated bit number s from the start of encoding of the picture, and determines the data occupation amount. d0 and the number of generated bits s are supplied to the virtual buffer occupation amount calculation unit 52. The virtual buffer occupancy calculation unit 52 receives the data occupancy d0, the number of generated bits s, and the allocation bit number T supplied from the allocation bit number setting unit 53, and the virtual buffer occupancy d according to the equation (1). Is calculated. In the second embodiment, T is used in place of T1 in the equation (1).
[0028]
The virtual buffer occupancy d is input to a 1/2 multiplier 54 and a WR multiplier 55, and the calculation results d1 and d2 are input to the basic channel quantizer 14 and the extended channel quantizer 34, respectively. Sent. Each of the basic channel quantizer 14 and the extended channel quantizer 34 obtains a quantization parameter (mquant) from the equation (2), and uses the same method as described in the first embodiment to generate a picture. The quantization level is calculated for the orthogonal transformation data.
[0029]
FIG. 4 is a flowchart showing an operation of determining the quantization step size of the quantizers 14 and 34. In addition, the same step as FIG. 2 shows the same or equivalent step.
[0030]
In step S1, it is determined whether or not the orthogonal transformation data of the picture has been acquired in the transmission waiting buffer 23. If this determination is affirmative, the process proceeds to step S2 and the generated bit number calculation unit 51 waits for the transmission waiting. The data occupation amount d0 of the buffer 23 is acquired. Next, in step S11, the generated bit number calculation unit 51 calculates the generated bit number s from the start of encoding of the picture of the basic and extended channels. Next, in step S4, the virtual buffer occupancy calculation unit 52 calculates the virtual buffer occupancy d using the equation (1). In step S12, it is determined whether or not the channel is a basic channel. If the determination is affirmative, the process proceeds to step S13, and the ½ multiplier 54 determines the virtual buffer occupation amount d1 to be allocated to the basic channel. On the other hand, when the determination is negative, the process proceeds to step S14, where the WR multiplier 55 determines the virtual buffer occupation amount d2 to be allocated to the extension channel.
[0031]
Next, in step S5, the basic channel quantizer 14 determines the quantization parameter and the activity from the virtual buffer occupancy d1, the encoding mode and activity from the macroblock information storage table 22, as in the first embodiment. Determine the quantization step size. In step S6, the coefficient of orthogonal transform is divided by the quantization step size to calculate the quantization level. On the other hand, in step S5 ′, the expansion channel quantizer 34 determines the quantization parameter and the activity from the virtual buffer occupancy d2 and the encoding mode and activity from the macroblock information storage table 44 as in the first embodiment. Determine the quantization step size. In step S6 ′, as in step S6, the orthogonal transform coefficient is divided by the quantization step size to calculate the quantization level.
[0032]
In step S7, it is determined whether or not the quantization process has been completed. If this determination is negative, the process returns to step S11 and the above-described operation is repeated. On the other hand, if the determination is affirmative, the quantization operation ends.
[0033]
As described above, according to the second embodiment, since the quantization of the orthogonal transform coefficient of the basic channel can be performed more finely than that of the extended channel, the reproduction image quality of the basic channel is the same as in the first embodiment. Can be maintained at a higher level than the playback quality of the extended channel, and even if the scene characteristics of the picture fluctuate, the image quality on the left can always be kept higher than that on the right. Efficiency can be realized.
[0034]
Next, a third embodiment of the present invention will be described with reference to FIGS. FIG. 5 shows a schematic configuration of the present embodiment, 56 denotes an occupation amount distribution setting unit, and other reference numerals are the same as or equivalent to the same reference numerals in FIG. FIG. 6 is a flowchart showing the operation of determining the quantization step size according to this embodiment, and the same steps as those in FIG. 4 indicate the same or equivalent steps.
[0035]
This embodiment is characterized in that the occupation amount distribution setting unit 56 performs the processing of steps S15 to S17 in FIG. In the present embodiment, a virtual buffer occupancy threshold dth is set. The virtual buffer occupancy threshold dth is a value corresponding to the allowable limit of the image quality of the extension channel. If the determination in step S15 is affirmative, the process proceeds to step S16. If the determination is negative, the process proceeds to step S17.
[0036]
That is, in step S15, it is determined whether or not the virtual buffer occupation amount d is larger than the threshold value dth. When this determination is affirmative, the image quality of the extended channel is at an acceptable limit, so that the image quality of the extended channel is not different from the image quality of the basic channel, or the difference is so small. Further, the virtual channel occupation amount d2 of the extension channel is set to 1 / 2d. On the other hand, when the determination in step S15 is negative, the image quality of the extended channel is acceptable, so that the virtual buffer occupation amount d2 = WR × d (where WR ≧ 1) of the extended channel in order to give a certain difference from the image quality of the basic channel. / 2).
[0037]
In the first to third embodiments, the virtual buffer occupancy d (d1, d2) to be assigned to each is calculated outside the quantizers 14 and 34, but the present invention is not limited to this. The present invention is not limited, and the calculation may be performed inside the quantizers 14 and 34.
[0038]
Next, a fourth embodiment of the present invention will be described with reference to FIGS. In FIG. 7, reference numerals 61 and 63 denote spatial domain filters, specifically low pass filters, applied to the input original images of the basic channel and the extended channel, respectively. Reference numerals 62 and 64 denote input image frame memories in which the image after the filter processing is stored. In addition, another code | symbol shows the same or equivalent thing as the same code | symbol of FIG. 1 and FIG.
[0039]
The feature of this embodiment is that the filter characteristic (cutoff frequency) of the low-pass filter 63 of the extended channel is made stronger than that of the low-pass filter 61 of the basic channel, and more high-frequency components are removed from the input original image of the extended channel. It is in the point that I tried to
[0040]
FIG. 8 is a flowchart showing the operation of the main part of this embodiment. This flowchart shows the operation of the basic channel, but the operation of the extension channel is the same. In step S21, it is determined whether or not the input original image of the basic channel has started to be acquired. If this determination is affirmative, the process proceeds to step S22, and the input original image is input to the low-pass filter 61 and subjected to filter processing. The high frequency component is removed from the input original image by the filtering process. In step S 23, the filtered image is stored in the input image frame memory 62. The same operation as described above is performed in the extension channel, and the image after the filter processing is stored in the input image frame memory 64.
[0041]
Thereafter, using the allocated bit number T supplied from the allocated bit number setting unit 53, the virtual buffer occupation amount d is calculated in the same manner as described in the second embodiment, and d is equally distributed to the left and right channels. Thus, the quantization processing for the basic and extended channels is performed.
[0042]
According to this embodiment, since the original image input to the basic channel encoder includes more high frequency components than the original image input to the extended channel encoder, the reproduction quality of the basic channel is improved. Compared to the playback quality of the extended channel, it can always be kept high, and even if fluctuations occur in the scene characteristics of the picture, the image quality balance between the left and right can always be kept even, which is higher than the conventional technology. Efficiency can be realized.
[0043]
It should be noted that the low-pass filter 61 for the basic channel is removed so that the high frequency components of the image stored in the input image frame memory 62 are larger than the image stored in the input image frame memory 64 of the extended channel. Also good. Further, a time domain filter may be used in place of the spatial domain filters 61 and 63.
[0044]
【The invention's effect】
As is clear from the above description, according to the present invention, since the playback image quality of the basic channel can always be kept higher than the playback image quality of the extended channel, there is a variation in the characteristics of the scene of the picture. Even if it occurs, the image quality on the left can always be kept higher than that on the right, and higher encoding efficiency than that of the prior art can be realized.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a main part of an embodiment of the present invention.
FIG. 2 is a flowchart illustrating an operation of a quantization process according to the present embodiment.
FIG. 3 is a block diagram showing a configuration of a main part of a second embodiment of the present invention.
FIG. 4 is a flowchart illustrating an operation of a quantization process according to the present embodiment.
FIG. 5 is a block diagram showing a configuration of a main part of a third embodiment of the present invention.
FIG. 6 is a flowchart illustrating an operation of a quantization process according to the present embodiment.
FIG. 7 is a block diagram showing a configuration of a main part of a fourth embodiment of the present invention.
FIG. 8 is a flowchart showing an operation of a main part of the present embodiment.
FIG. 9 is a block diagram showing a schematic configuration of a conventional stereo video encoding device.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 11 ... Original image frame memory, 12, 32 ... Subtractor, 13, 33 ... Orthogonal transform unit, 14, 34 ... Quantizer, 15, 35 ... Variable length encoder, 20, 40 ... Motion compensation unit, 21, 42 ... Predictive picture frame memory, 22, 44 ... Macroblock information storage table, 23, 45 ... Transmission waiting buffer, 24, 46, 51 ... Generated bit number calculation unit, 25, 47, 52 ... Virtual buffer occupation amount calculation unit, 26 ... allocation bit allocation setting unit, 27 ... multiplexer, 28 ... line, 41 ... prediction mode selection unit, 43 ... parallax compensation unit, 53 ... allocation bit number setting unit, 54 ... 1/2 multiplier, 55 ... WR multiplication 56, occupation amount distribution setting unit, 61, 63 LPF, 62, 64, input image frame memory.

Claims (2)

一方のチャンネルを基本チャンネルとして動き補償符号化を適用し、他方のチャンネルを拡張チャンネルとして動き補償符号化および視差補償符号化を併用するステレオ動画像用符号化装置において、
前記基本チャンネルの量子化ステップサイズが前記拡張チャンネルの量子化ステップサイズより小さくなるようにする手段を具備し、
前記基本チャンネルの量子化ステップサイズを拡張チャンネルのそれに比べて小さく保つようにし、かつ前記基本チャンネルの量子化ステップサイズが予め定められた値より大きくなる場合に、前記拡張チャンネルの量子化ステップサイズが前記基本チャンネルの量子化ステップサイズより大きくするのを禁止する手段をさらに具備したことを特徴とするステレオ動画像用符号化装置。
In a stereoscopic video coding apparatus that applies motion compensation coding using one channel as a basic channel and uses motion compensation coding and parallax compensation coding together with the other channel as an extension channel,
Means for making the quantization step size of the basic channel smaller than the quantization step size of the extension channel,
When the quantization step size of the basic channel is kept smaller than that of the extension channel and the quantization step size of the basic channel is larger than a predetermined value, the quantization step size of the extension channel is The apparatus for encoding a stereo moving image, further comprising means for prohibiting the basic channel from being larger than a quantization step size.
請求項1に記載のステレオ動画像用符号化装置において、
量子化後のデータを一時蓄積するバッファの基本チャンネルの占有量を、前記拡張チャンネルのそれに比べて小さくなるようにしたことを特徴とするステレオ動画像用符号化装置。
The stereo moving image encoding device according to claim 1,
A stereo moving picture coding apparatus characterized in that an occupation amount of a basic channel of a buffer for temporarily storing data after quantization is made smaller than that of the extension channel.
JP16434798A 1998-05-28 1998-05-28 Stereo moving image encoding device Expired - Fee Related JP3646849B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP16434798A JP3646849B2 (en) 1998-05-28 1998-05-28 Stereo moving image encoding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16434798A JP3646849B2 (en) 1998-05-28 1998-05-28 Stereo moving image encoding device

Publications (2)

Publication Number Publication Date
JPH11341520A JPH11341520A (en) 1999-12-10
JP3646849B2 true JP3646849B2 (en) 2005-05-11

Family

ID=15791449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16434798A Expired - Fee Related JP3646849B2 (en) 1998-05-28 1998-05-28 Stereo moving image encoding device

Country Status (1)

Country Link
JP (1) JP3646849B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007180982A (en) * 2005-12-28 2007-07-12 Victor Co Of Japan Ltd Device, method, and program for decoding image
JP2007180981A (en) * 2005-12-28 2007-07-12 Victor Co Of Japan Ltd Device, method, and program for encoding image
US8594180B2 (en) 2007-02-21 2013-11-26 Qualcomm Incorporated 3D video encoding
MY162861A (en) 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
US20090219985A1 (en) 2008-02-28 2009-09-03 Vasanth Swaminathan Systems and Methods for Processing Multiple Projections of Video Data in a Single Video File
JP5307896B2 (en) * 2009-08-20 2013-10-02 トムソン ライセンシング Stereo image encoding method, stereo image encoding device, and stereo image encoding program

Also Published As

Publication number Publication date
JPH11341520A (en) 1999-12-10

Similar Documents

Publication Publication Date Title
US6084636A (en) Video signal encoding method and apparatus employing an adaptive quantization technique
JP3533282B2 (en) Video compression using multiple processors
EP0959627B1 (en) A motion video compression system with adaptive bit allocation and quantization
EP0562787B1 (en) Image coding method and apparatus
JP4111351B2 (en) Apparatus and method for optimizing rate control in a coding system
US9025664B2 (en) Moving image encoding apparatus, moving image encoding method, and moving image encoding computer program
GB2335560A (en) Moving picture encoding system
JPH08163554A (en) Controlling method of bit ratio of video
US6879632B1 (en) Apparatus for and method of variable bit rate video coding
KR20040076034A (en) Method and apparatus for encoding video signal with variable bit rate
KR20040065014A (en) Apparatus and method for compressing/decompressing multi-viewpoint image
JP4619479B2 (en) Statistical multiplexing system
JP3508916B2 (en) Moving image variable bit rate encoding method and apparatus
JP3646849B2 (en) Stereo moving image encoding device
JPWO2002080567A1 (en) Image signal quantization apparatus and method
JP2001028753A (en) Dynamic image coder and its method
JP2008263443A (en) Information processing apparatus and method, and program
WO2021083286A1 (en) Bit rate control method and device, and computer storage medium
JP2007116655A (en) Moving picture coding apparatus
JP2900927B2 (en) Encoding method and encoding device
JP3128336B2 (en) Video encoding device
JPH11234671A (en) Signal processing unit
JP3767007B2 (en) Encoding apparatus and encoding method
JP2008078978A (en) Moving image encoder
JPH0993537A (en) Digital video signal recording and reproducing device and digital video signal coding method

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041005

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041102

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20041214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050202

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080218

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110218

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110218

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees