JP4454049B2 - 圧縮ビデオのビットストリームのスケーリング方法及び装置 - Google Patents

圧縮ビデオのビットストリームのスケーリング方法及び装置 Download PDF

Info

Publication number
JP4454049B2
JP4454049B2 JP28622595A JP28622595A JP4454049B2 JP 4454049 B2 JP4454049 B2 JP 4454049B2 JP 28622595 A JP28622595 A JP 28622595A JP 28622595 A JP28622595 A JP 28622595A JP 4454049 B2 JP4454049 B2 JP 4454049B2
Authority
JP
Japan
Prior art keywords
macroblock
cumulative sum
bits
sum
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP28622595A
Other languages
English (en)
Other versions
JPH08214304A (ja
Inventor
クォク ウィルソン
ウォルター ズデプスキー ジョエル
スン フイファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RCA Licensing Corp
Original Assignee
RCA Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by RCA Licensing Corp filed Critical RCA Licensing Corp
Publication of JPH08214304A publication Critical patent/JPH08214304A/ja
Application granted granted Critical
Publication of JP4454049B2 publication Critical patent/JP4454049B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は予め圧縮されたビデオ信号のビットストリームのデータ量を削減する装置に関する。
【0002】
【従来の技術】
MPEG(動画像専門家グループ)方式のビデオ符号化規格は、ビデオ伝送及び蓄積の多数の応用のため提案されている。例えば、ビデオオンデマンド、及び、トラックディジタルVTRのトリック再生のような数種の応用は、ある種のMPEG方式のプロフィルで供給されたビットレートより小さいビットレートを有する圧縮された信号を用いることにより一層容易に実現される。別々の応用は僅かに異なる信号を要求するが、同一のスケーリング装置が元のビットレートを夫々の応用を処理するレートに低下させるため機能する。
【0003】
MPEG方式の符号化規格は、現在、地上のHDTV(高品位テレビジョン)、遠隔会議、衛星通信、DBS(直接放送システム)、及びマルチメディアワークステーションを含む多数の応用に対し開発されている。MPEG2方式の圧縮されたビットストリームは、かなり高いデータレートの圧縮された高品位テレビジョンのビットストリームを提供する。この信号がかなり狭帯域のチャンネル上で利用されるならば、そのデータをより低いビットレートに低下又はスケーリングする必要がある。
【0004】
ビデオファイルサーバ装置がMPEG方式の符号化ビットストリームのライブラリを格納する記憶装置を有するビデオオンデマンドシステムを想定する。ライブラリに格納されたビットストリームは、最初、高品位(例えば、スタジオ品質)で符号化される。多数のクライアントは、ある特定の時刻にそのビデオプログラムの中からプログラムを取り出すことを要求する。ユーザの数と、ユーザに配給されるビデオの品質は、出力するチャンネルの容量によって制限される。例えば、ケーブルバス又はATM(非同期転送モード)トランクでもよい上記出力チャンネルは、サービスを受けるユーザの間で共有される必要がある。別個のユーザは別個のビデオ品質レベルを要求する場合があり、夫々のプログラムの品質は、各ユーザに割り当てられた全チャンネル容量の小部分に基づいている。
【0005】
複数のユーザを同時に受け入れるため、ビデオファイルサーバ装置は、チャンネルを介して夫々のユーザに配給される前に、記憶されたビットストリームを低下したビットレートにスケーリングする。スケーリングして得られたビットストリームの品質は、元のソース材料を低下したレートで符号化することにより得られる仮想的なビットストリームの品質と比較して著しく劣っていてはならない。夫々のユーザではなく、ファイルサーバ装置だけにスケーリング装置を具備すればよいので、複雑さとコストは重大な要因ではない。
【0006】
【発明が解決しようとする課題】
トラックディジタルVTR装置のトリック再生の場合、ビデオはビデオテーブレコーダでサイドトラックを作成するようスケーリングされる。上記サイドトラックには、VTRのトリックモード(例えば、別々の速度での高速早送り及び巻き戻し走査)を十分に容易にさせ得る非常に粗い品質のビデオが含まれている。VTRは大量生産される大量消費者品目であるので、上記装置に含まれているスケーリング装置の複雑さ及びコストは重大な関心事である。
【0007】
スケーリングの別の応用は、ディジタルVTR上の拡張された再生記録である。この応用の場合、ビデオはある放送品質(標準品位ビデオに対し〜6Mbps、高品位ビデオに対し〜24Mbps)でユーザの家庭に放送される。ビデオテープレコーダのスケーリング特性を用いて、ユーザは、現在のVHS方式レコーダの拡張再生EPモードに類似する低下したレートでビデオを記録し、これにより、より多量のビデオプログラム材料をより低品質でテープに記録する。
【0008】
スケーリングの際、元の信号の中のより高品位の情報ができるだけ活用されるべきであり、より低いビットレートで得られた新しい信号の画質は、できるだけ高品位であり、又は、元のソースを低下したレートで符号化することにより作成された信号の画質にできる限り近づける必要がある。所定のデータレートに対し、元のソースは最適な方法で符号化されるものと仮定する。
【0009】
【課題を解決するための手段】
本発明のスケーリング方法及び装置は、高周波AC離散コサイン変換(DCT)係数を除去し、又は、量子化されたデータをより粗い量子化係数で再量子化することを可能にさせるパーシャル復号化ハードウェアを有する。スケーリングは、ブロック当たりの圧縮されたデータの量を線形にスケーリングする方法でブロック(マクロブロック)に基づいて行われる。アナライザはビデオフレームに亘る累積的な部分的に圧縮解除されたデータを発生し、スケーリングされた信号のプロフィルが元のデータのプロフィルと実質的に適合することを保証するためスケーリングが行われる。
【0010】
【発明の実施の形態】
図1は先に符号化されたビデオ信号中のデータ量を減少させる従来の圧縮ビデオ信号スケーリング装置を示す図である。例示した装置では、回路の全般的な動作を示すため主要な機能素子だけが図示されている。例えば、圧縮ビデオ信号には種々の形のデータが含まれ、それらの形の中の一部だけが量子化される。他の形は、再量子化又はスケーリング装置を迂回させられ、マルチプレクサ14においてスケーリングされたデータともう一度多重化される。マルチプレクサ14が上記機能を実行するため意味のある制御回路を有する必要があることは、圧縮回路の当業者にとって明らかである。しかし、圧縮回路の当業者はマルチプレクサ14の多重化機能を容易に認めることができるので、ここで説明は行わない。
【0011】
図1において、先に圧縮又は符号化されスケーリングを受けるべきビデオ信号は、ブロック符号化された信号であると想定する。夫々の画像は複数のブロック又はマクロブロックに分割され、ブロック毎又はマクロブロック毎に基づいて圧縮され、その結果、信号が少なくとも部分的に符号化されたブロック又はマクロブロックのストリームとして得られる。夫々のマクロブロックのデータの少なく0も一部分は、量子化され、可変長で符号化される。上記の圧縮信号の例は、MPEG1方式及びMPEG2方式のビデオ信号である。符号化信号は、可変長復号化信号を発生する可変長復号化器10に供給される。圧縮信号に含まれる動きベクトル(及び、他の量子化されていない符号語)は、次の回路(逆量子化器(Q-1)11;量子化器(Q)12;可変長符号化器(VLC)13)を迂回して示されているが、上記次の回路がスケーリング装置によって変えられるべきではない信号成分に対し反応しないよう条件付けることができる場合、実際上、動きベクトルは上記次の回路を通過させてもよい。
【0012】
可変長復号化の後、復号化された符号語は逆量子化器11に結合され、圧縮処理で量子化された信号成分が逆量子化される。逆量子化された成分は、レート制御器16の制御下の量子化器12において再度量子化される。レート制御器16は所望の低下したレートと適合してスケーリングされたビットストリームを有する符号化信号を生成するよう調整される。かかる例の場合、スケーリングは、元の圧縮器よりも粗い夫々の符号語の量子化が得られる量子化器12に量子化値を供給するレート制御器16によって行われる。再度量子化された符号語は、可変長符号化器(VLC)13において可変長符号化され、マルチプレクサ14において再量子化を受けなかった信号成分と再度フォーマット化される。再度フォーマット化された信号は、一般的にバースト的な信号を一定レートの信号に変換するレートバッファ15に供給される。レートバッファ15には、量子化器12が一定レートの信号を発生するよう条件付けるためレートバッファ15を制御する制御信号を供給する占有モニターがある。上記回路のより詳細な説明は、モリソン(D.G. Morrison) 等による論文“符号化形式のままの圧縮ビデオのビットレートの縮小(REDUCTION OF THE BIT RATE OF COMPRESSED VIDEO WHILE IN ITS CODED FORM) ”、PV’94、D17.3に記載されている。
【0013】
MPEG方式の圧縮ビデオの場合、量子化は、量子化値のマトリックスと量子化係数を必要とする。量子化値のマトリックスは、心理視覚的なパラメータに従って定められる。量子化値のマトリックスは、画素のブロックを表わす係数のブロック内の各離散コサイン変換(DCT)の夫々の値を有し、マトリックスは、通常、フレーム内の全てのマクロブロックを量子化するため共通に使用される。一方、量子化係数は、マクロブロックに固有であり、即ち、各量子化係数は、その量子化係数が割り当てられたマクロブロックだけに適合する。量子化係数は、マトリックスが夫々のマクロブロックを量子化するため使用される前にマリックス内の全ての量子化値を重み付けするため使用される。以下の説明で、量子化パラメータの発生とは、一般的に、上記量子化係数の発生を意味する。
【0014】
図1に示された装置は、一般的に、可変長符号化の可変性に起因して画像全体に均等なビットスケーリングを提供し得ない。換言すると、夫々のマクロブロックのビットスケーリングは、かなりの割合で異なる場合がある。図2及び4のビットスケーリング装置は、マクロブロック間で実質的に均等なビットスケーリングが得られる。
【0015】
次いで、図2及び6を参照して説明を行う。図2において、スケーリングされた符号化ビデオ信号は可変長復号化パーサー20に供給される。パーサー20は、可変長符号化されていない符号語に対し透過性であり、可変長符号化されていない符号語をそのまま通過させる。例えば、MPEG方式の信号中の可変長符号化された符号語は確定した境界をもたない。パーサー20は夫々の符号語の境界を定め、タイプを用いて符号語を識別する(ステップ602)。符号語は実際には復号化されない。パーサーで解析された可変長符号化されていない符号語は識別子が付けられ、遅延メモリ21に格納される(ステップ603)。
【0016】
解析された可変長符号化されていない符号語はアナライザ22に供給される。アナライザ22は、上記例の場合、夫々の圧縮フレーム(又は、フィールド又は画像等)全体のマクロブロックに対しAC離散コサイン変換(DCT)係数のプロフィルを生成する。即ち、アナライザ22は、マクロブロックに基づいてAC離散コサイン変換係数のビットの現在の和を発生する(ステップ605)。アナライザ22は、マクロブロックの番号で識別された夫々の和をメモリ24に格納する(ステップ604)。マクロブロック1(MB1)に対し、和は、MB1内のAC離散コサイン変換に対応するMB1内の全ビットの和(ΣMB1)である。マクロブロックMB2に対し、和は、和(ΣMB1)と、MB2内のAC離散コサイン変換に対応するMB2内の全ビットの和(ΣMB2)の加算である。マクロブロックMB3に対し、和は(ΣMB1)+(ΣMB2)+(ΣMB3)であり、以下同様である。図3には、マクロブロック番号と共に、上記和を縦座標とするグラフ(プロフィルと表わされている)が示されている。
【0017】
上記AC離散コサイン変換係数に加えて、アナライザ22は夫々のフレームに対し全符号化ビット(TB)を計数する(ステップ601)。夫々のフレームに対する全マクロブロックが分析された後(ステップ606)、フレーム当たりのAC離散コサイン変換の目標値TVACが和(TB)及び(ΣMB last)を用いて以下の関係:
TVAC=(ΣMB last)−%×(TB)−excess
に従って計算される(ステップ608)。式中、(ΣMB last)は、ACの最後の和であり、フレーム内のAC離散コサイン変換ビットの全数に対応し、%はビットストリームが縮小されるべき百分率であり、「excess」は前のフレームが所望の目標から逸れた量を表わしている。
【0018】
AC離散コサイン変換ビットのプロフィルは、係数TVAC/(ΣMB last)によってスケーリングされる(ステップ610)。スケーリングは、図3に示された線形にスケーリングされたプロフィルを得るため夫々の和(ΣMBi )の各々を係数TVAC/(ΣMB last)で乗算することにより行われる。夫々の和(ΣMBi )はメモリ24でスケーリングされた和と置き換えられる。
【0019】
プロフィルがスケーリングされた後、夫々の解析された可変長符号化されていない符号語は、一度にマクロブロックでメモリ21から出し入れされる。AC離散コサイン変換されていない符号語はバッファ23に送られ(ステップ612)、バッファ23は本質的に出力を再度組み立てる(ステップ618)。アナライザ22は符号語をバッファ23に送るようメモリ21を条件付けし、マクロブロック当たり制限された量の符号語を受け入れるようバッファ23を条件付ける。AC離散コサイン変換符号語がアクセスされるとき、夫々のAC離散コサイン変換符号語のビットは加算され(ステップ614)、夫々のマクロブロックの現在の和が、ブロックの終了EOBの符号語に対応するビットの数よりも小さいマクロブロックのスケーリングされた和と連続的に比較される(ステップ616)。夫々のAC離散コサイン変換符号語は、マクロブロックのビットの現在の和がEOBbit よりも小さい対応するスケーリングされた和以上になるまで、バッファ23によって受けられる。上記条件が成立したとき、ブロック終了EOBコードがビットストリームに挿入され(ステップ620)、夫々のマクロブロックの残りの符号語は捨てられる(ステップ622)。この処理は、夫々のフレームの全符号化データがスケーリングされたビットストリームに再度組み立てられるまで続く。
【0020】
MPEGマクロブロックは、例えば、6ブロックのデータを有し、全てのブロックが対応するAC離散コサイン変換の符号語を有する場合があることに注意する必要がある。メモリ21からのデータを処理する場合、夫々のマクロブロック内の各ブロックからの対応する符号語は、マクロブロック内の各ブロックに等しくビット空間が与えられるよう順次的ではなく並列的にアクセスされる必要がある。iが係数(1−64)を表わし、kがブロック(1−6)を表わすとき、マクロブロック内の夫々のブロックがAC離散コサイン変換符号語ACikを有すると仮定すると、符号語は、AC11、AC12、AC13、AC14、AC15、AC16、AC21、AC22、AC23、AC24、AC25、AC26、AC31、AC32、AC33、AC34、AC35、AC36、AC41等の順序でアクセスされる必要がある。このため、バッファ23は後で直列的に読まれる夫々のブロックを並列に形成し得るようブロックに基づいて分割される。
【0021】
メモリ23に供給されるビットの数が線形にスケーリングされたプロファイルによって表わされるAC離散コサイン変換のビットと等しくなるまで、ビットはメモリ21から読まれるので、夫々のマクロブロックの各々は実質的に線形にビットスケーリングされる。
図4には、再量子化によりビットスケーリングを行う本発明の第2の実施例が示されている。図1の装置とは異なり、図4の装置は、夫々のマクロブロックの実質的に線形なビットスケーリングを行う。図4において、符号化ビデオ信号は、可変長符号化された上記信号成分を復号化する可変長復号化器38に供給される。復号化信号は、(分析が行われるまで復号化信号を記憶する)遅延メモリ39と、アナライザ40に供給される。メモリ39の出力は逆量子化器41に結合される。量子化されていない信号成分は、メモリ39からマルチプレクサ44への矢印で表わされているように逆量子化器41を迂回させてもよく、或いは、逆量子化器と次の回路が量子化されていない信号成分に反応しないよう条件付けられているならば、量子化されていない信号成分は逆量子化器と次の回路を通過させてもよいことに注意が必要である。逆量子化器41は、遅延メモリ39の後よりはむしろ遅延メモリ39の前に置いてもよい。
【0022】
逆量子化器41は、量子化された上記信号成分を逆量子化し、逆量子化された信号を量子化器42に供給する。量子化器42は、ビットストリームのスケーリングを効率化すべく、通例的に量子化された信号成分をより粗く量子化するようアナライザ40によって条件付けられる。再量子化された信号は、信号を可変長符号化しマルチプレクサ44に供給する可変長符号化器43に供給され、マルチプレクサ44は、元のプロトコル、或いは、所望があれば異なるプロトコルに従って信号を再フォーマット化する。再フォーマット化された信号は、レートバッファ45に供給される。
【0023】
図4の本発明の一実施例の装置によれば、(点線で図示された)レート制御器47が再量子化を制御するため利用される。この実施例において、アナライザは、フレームに基づいて制御パラメータをレート制御器に供給し、次いで、レート制御器は再量子化処理を制御する。レート制御器は、夫々のマクロブロックの量子化係数を発生させるためフレーム目標のビットサイズを利用する形であると仮定する。上記レート制御器の場合、フレーム目標のビットサイズは、レート制御器自体で計算されるか、或いは、外部ソースから供給される。この形のレート制御器の一例は、トリスタン サバティエ(Tristan Savatier)による発明の名称が「ビデオデータ量子化制御装置(APPARATUS FOR VIDEO DATA QUANTIZATION CONTROL) 」である米国特許第5,144,424 号明細書に記載されている。上記特許の制御器は、フレームiの夫々の量子化係数を計算する際利用されるパラメータTSize_i(インデックスiはI、B又はPフレームを表わす)を発生する。上記目的のため、かかるレート制御器がアナライザ40から目標パラメータTSize_iを受けるため変更された場合を想定する。
【0024】
本実施例において、アナライザ40は、夫々の符号化マクロブロックから量子化係数QMBi を取得し、可変長復号化器(VLD)38によって与えられたデータストリーム内の夫々のマクロブロックの夫々のビットMBi を計数する。これにより、ビットの和のマクロブロックに関係した量子化係数倍の積QMBi (ΣMBi )が形成される。夫々のフレームの全部の前のマクロブロックに対し作成された積の和ΣQMBi (ΣMBi i は、各マクロブロックに対し形成され、マクロブロックの番号によって識別されたメモリ46に格納され;ここで、ΣQMBi (ΣMBi 1 はΣQMB1 (ΣMB1 )と等しく、ΣQMBi (ΣMBi 2 はΣQMB1 (ΣMB1 )+ΣQMB2 (ΣMB2 )と等しく、以下同様である。マクロブロックの番号に対しプロットされた上記和は、図3に示された例と類似した正規化されたプロフィルを形成する。しかし、レート制御器は全部のビットに基づいて動作するので、上記プロフィルはAC離散コサイン変換ビットだけではなく全部のビットに関係することに注意する必要がある。得られた目標値が量子化されていない信号成分に対し適当に増大される場合、AC離散コサイン変換のビットのプロフィルを使用してもよい。最終的な和ΣQMBi (ΣMBi lastは、現在のフレームの再量子化のためのレート制御器47に供給される目標値TSize_iを発生するため係数SFによってスケーリングされる。可変長復号化された信号は、遅延メモリ39からアクセスされ、逆量子化され、計算されたTSize_iの値を利用するレート制御器47の制御下で量子化器43によって再量子化される。上記プロフィルは正規化された曲線であるが、レート制御器47は正規化されたビットではなく、多量のビットで動作する。従って、スケーリング係数SFは、ビットの単位で目標を得るため1/QMBの単位である。スケーリング係数の一例は、以下の式:
【0025】
【数2】
Figure 0004454049
【0026】
によって計算され、式中、(ΣΣMBi lastは夫々のマクロブロックの全ビットに対応し、excessは前のフレームに対し目標の値を超えたビットの量を表わしている。他の使用できるスケール係数は、比(1−%)/QMBiavgであり、QMBiavgはフレーム内の元の全量子化係数の平均である。
図4に示した他の実施例は図7及び8のフローチャートを参照して説明される。この実施例において、アナライザ40はマクロブロックに基づいて量子化係数を量子化器42に供給する。レート制御器47はこの実施例では使用されない。レート制御器以外の他の全ての素子は上記の如く動作する。
【0027】
図7を参照するに、符号化ビデオ信号は可変長復号化され(ステップ702)、復号化信号はメモリ39に格納され、アナライザ40に供給される。夫々のマクロブロックのビットは加算ΣMBi され(ステップ706)、夫々のマクロブロックに関係した元の量子化係数QMBi により乗算される(ステップ707)。積QMBi (ΣMBi )は累積的に加算され(ステップ708)、夫々のマクロブロックで識別されたメモリ46に格納される(ステップ709)。累算された和Σ(QMBi (ΣMBi ))i は、縦座標としてマクロブロック番号と共に図示したとき、図3に示したプロフィルと類似したプロフィルを形成する。最後のマクロブロックが処理されたとき(ステップ710)、プロフィルは上記の如くスケーリング係数SFによってスケーリングされる(ステップ712)。かかるスケーリングは、積の累積的和の各々Σ(QMBi (ΣMBi ))i をスケーリング係数SFにより乗算し、乗算結果を夫々のマクロブロックにより識別されたメモリ46に格納することによって実行される。メモリ39の復号化ビデオ信号は、次いで、逆量子化され(ステップ714)、記録された信号がスケーリングされたプロフィルと適合するよう再量子化される(ステップ717)。この再量子化処理は図8に示されている。
【0028】
図8において、マクロブロックiに対し新しい量子化係数QMBiEが評価される(ステップ800)。この評価値は多数の方法によって得られる。評価値を得る一つの方法は、QMBi がマクロブロックiの元の量子化係数を表わす場合、QMBiE=(QMBi )/(1−%)を形成することである。他の方法は、QMBi-1 前のマクロブロックi−1の量子化係数を表わす場合、単に量子化係数QMBiE=QMBi-1 を使用することである。量子化係数QMBiEを評価する第3の方法は、最終的に最も直前のような形のフレームの対応するマクロブロックに対し計算された最終的な量子化係数QMBiFを使用することである。
【0029】
マクロブロックiの量子化係数の評価値の取得後、量子化されていないマクロブロックはメモリ39からアクセスされる(ステップ801)。マクロブロックMBi は評価された量子化係数を用いて量子化され(ステップ802)、可変長符号化される(ステップ803)。マクロブロックに対する新しい全ビットΣMBinは加算され(ステップ804)、再量子化されたマクロブロックの符合語は再組立される(ステップ805)。ビットの和ΣMBinは、再量子化され記録されたビットストリームの現在のマクロブロックのプロフィル値Σ(ΣMBini を形成するため先に量子化されたマクロブロックのビットの和と加算される(ステップ806)。上記プロフィルはビットからなり、スケーリングされたプロフィルはビットに関し表わされている点に注意が必要である。
【0030】
新しいプロフィル値Σ(ΣMBini と元のスケーリングされたプロフィル値SF(Σ(QMBi (ΣMBi ))i )の差は、ビット誤差の値ΔE:
ΔE=SF(Σ(QMBi (ΣMBi ))i )−Σ(ΣMBini
を作成するため計算される(ステップ807)。ビット誤差ΔEは閾値ΔET と比較される(ステップ808)。誤差が閾値よりも大きい場合、新しい量子化係数QMBinewが計算される(ステップ809)。一例として、以下の関係:
MBinew=QMBi +sgn(ΔE)
に従って計算され、式中、QMBi は、i番目のマクロブロックに対し使用された最後の量子化係数に対応し、最初のパスでQMBiEと等しく、sgn(ΔE)は、ΔEが正及び負である場合に夫々±1と一致する。マクロブロックiはもう一度アクセスされ(ステップ801)、新しい量子化係数を使用して再量子化される。ステップ801から809は、誤差ΔEが閾値より小さくなるまで繰り返される。
【0031】
ステップ808において誤差が閾値より小さい場合、フレーム内の全てのマクロブロックが再量子化されたかどうかを判定するためチェックされる(ステップ810)。全部は再量子化されていない場合、インデックスiが1ずつ増加され(ステップ814)、マクロブロックi+1の再量子化処理が開始される(ステップ800)。全部が再量子化された場合、装置の処理はステップ700に飛び、次のフレームの処理が開始される。
【0032】
上記処理は上記プロフィルを正確に追従し、QMBi の変化を殆ど許容しない傾向がある。量子化係数は、1フレームの間非常に均一である。特定のマクロブロックの引き続く処理パスの各々に対し、上記マクロブロックの前の処理パスの間に再組立されたデータ(ステップ805)は捨てられる。最終的なパスの再組立されたデータだけが保持される。
【0033】
図8の破線は、許容し得る性能が得られ、計算的な激しさはより少ない他の(好ましい)実施例を説明するため記載されている。かかる他の実施例において、QMBi はより変化し易い傾向があるので、より一層均一な本来的な画質が得られる。簡単に言うと、上記他の実施例は1パスの処理であり、夫々のマクロブロックは、夫々の前のマクロブロックに対し計算された誤差ΔEを使用して定められた夫々のQMBi で量子化される。
【0034】
上記更なる実施例によれば、ステップ800において評価された公称量子化係数は、フレーム内で処理された最初のマクロブロックだけの間で生成される。例示的な公称量子化係数QN は関係:
N =QNL+g(ΔE)L
に従って計算される。QNLは前のフレームで使用された公称量子化係数であり、(ΔE)L は前のフレームの最後のマクロブロックの誤差であり、gは利得係数である。公称利得係数gは、
【0035】
【数3】
Figure 0004454049
【0036】
と表わされるとき、31/Bppである。処理されるべき一番最初のフレームに対し、値QN は中間レンジの量子化係数と等しくなるよう任意に選択することができる。各フレームの最初のマクロブロックの公称量子化係数を選択する別の方法は、夫々の前のフレームの間に生成された新しい量子化係数の全ての平均を計算することである。
【0037】
公称量子化係数QN が計算された後、マクロブロックMB1 はメモリ39からアクセスされ(ステップ801)、QN を使用して量子化される(ステップ802)。ステップ803から807は、上記の如く実行される。しかし、かかる実施例の場合、ステップ808は削除され、新しいQMBNew がステップ807で計算された誤差の値とは無関係に計算される(ステップ809)。新しい量子化係数は、関数:
MBNew =(QMBNew-1 +g(ΔE))K
に従って計算され、式中、QMBNew-1 は前のマクロブロックに対し計算されたQMBNew (最初のマクロブロックの場合、QN )の値であり、Kは、量子化誤差に対する本来的な許容量を反映する通常〔0.5,2.0〕の範囲にあるスケーリング係数であり、マクロブロック内の符号化から得られる。
【0038】
MBNew の値が計算された後、フレームの最後のマクロブロックが処理されたかどうかを判定するチェックが行なわれる(ステップ810)。最後のマクロブロックは処理されていない場合、マクロブロックのインデックスiは1ずつ増加され(ステップ814)、次のマクロブロックがメモリ39からアクセスされ(ステップ801)、計算された値QMBNew を用いて量子化される。ステップ803から810が行なわれ、次のマクロブロックが処理され、以下同様に続く。かかる実施例をもう一度よく見ると、元のプロフィルが作成された後(ステップ700から714)、量子化は単一パスの処理であり、ステップ809で各マクロブロックiに関して定められた訂正された量子化係数QMBi は次のマクロブロックi+1を量子化するため使用される。
【0039】
図5は、ビットスケーリングを実行するためかなりのハードウェアを必要とする更なるビットスケーリング装置を示す図である。このビットスケーリング装置の場合、符号化ビデオ信号は圧縮解除器50で完全に圧縮が解除される。しかし、夫々のマクロブロックの動きベクトルはメモリ52に保存される。圧縮解除されたビデオ信号は、ビデオ信号を再圧縮する圧縮器51に供給される。圧縮器51は元の圧縮された信号から得られた動きベクトルを利用するので、圧縮器51は動きベクトル計算装置を有する必要はない。圧縮器51は、所望のビットレートで圧縮されたビットストリームを発生させるようプログラムされる。ビットプロフィルは、目標の値を計算するため作成させ、圧縮器51内のレート制御器に供給される。
【図面の簡単な説明】
【図1】先行技術のスケーリング装置のブロック図である。
【図2】本発明の一実施例のスケーリング装置のブロック図である。
【図3】元のデータとスケーリングされた圧縮データを表わす累積的な部分的に圧縮解除されたデータのプロフィルの一例を示す図である。
【図4】本発明の他の実施例のスケーリング装置のブロック図である。
【図5】本発明の他の実施例のスケーリング装置のブロック図である。
【図6】図2に示した本発明の一実施例のスケーリング装置の動作方法のフローチャートである。
【図7】図4に示した本発明の他の実施例のスケーリング装置の動作方法を理解するためのフローチャートである。
【図8】図4に示した本発明の他の実施例のスケーリング装置の動作方法を理解するためのフローチャートである。
【符号の説明】
10,38 可変長復号化器
11,41 逆量子化器
12,42 量子化器
13,43 可変長符号化器
14,44 マルチプレクサ
15,45 レートバッファ
16,47 レート制御器
20 可変長復号化パーサー
21,39 遅延メモリ
22,40 アナライザ
23,45 バッファ
24,46 メモリ
50 圧縮解除器
51 圧縮器
52 動きベクトルメモリ

Claims (6)

  1. ブロックに基づいて圧縮された圧縮ビデオ信号のビットストリームのスケーリング装置であって、
    一のフレームにおいて、マクロブロック毎に求められた、前記圧縮されたビデオ信号の変換係数のビットの和ΣMBi(なお、iは、i番目のブロックであることを表す。)第1の累積的な和ΣΣMBi における、当該フレームの最後の和である第の累積的な和(ΣMB last)を求め、
    当該フレームの変換係数の総ビット数の目標となる目標値(TVAC)と、前記第の累積的な和(ΣMB last)とから、スケーリング係数(TVAC/(ΣMB last))を求め、
    各マクロブロック毎に、前記第1の累積的な和ΣΣMBi に前記スケーリング係数が乗算された、第3の累積的な和を、前記第1の累積的な和に置き換えて、メモリに格納するアナライザと、
    該アナライザに応答する、
    マクロブロック毎に、前記圧縮されたビデオ信号の変換係数のビットの第4の累積的な和(ΣACMBn)を求め、
    マクロブロック毎に、該第4の累積的な和(ΣACMBn)と前記第3の累積的な和より、少なくともEOBのビット数分小さい値(PMBn)とを比較し、
    前記第4の累積的な和(ΣACMBn)が、前記値(PMBn)を、超えた場合、当該マクロブロックの残りのビットを捨てるビットストリーム再組み立て手段と、
    を有することを特徴とするスケーリング装置。
  2. 前記圧縮ビデオ信号は、AC離散コサイン変換符号化により圧縮され、
    記アナライザは、前記圧縮ビデオ信号を印加する接点と、
    前記接点に結合され、前記圧縮ビデオ信号の各ブロック毎に、該ブロックのビットの量を表す和ΣMBiを発生し、
    更に、第1番目のブロックから前記i番目のブロックまでの、前記和の累積に対応する第1の累積的な和ΣΣMBi を発生し、
    それぞれのブロックに基づき、ブロック毎の前記スケーリング係数が乗算された、前記圧縮されたビデオ信号の変換係数のビットの第3の累積的な和を発生するプロセッサと、
    からなることを特徴とする請求項1記載の装置。
  3. 該アナライザは、該各ブロックの前記第1の累積的な和ΣΣMBi をスケーリングし、
    前記ビットストリーム再組み立て手段は、データを減少させるために、それぞれのブロックの高周波AC離散コサイン変換係数を捨てる手段を有し、
    捨てられたビットの量は、対応するスケールされている第3の累積的な和に従って、それぞれのブロックに対して決定されて、
    前記第第3の累積的な和に対応している累積的なを有する直線的にスケールされたビットストリームを生成する、
    ことを特徴とする請求項2記載の装置。
  4. MPEG方式のAC離散コサイン変換符号化ビデオ信号のビットストリーム内のビットを減少させる方法であって、
    一のフレームにおいて、マクロブロック毎に求められた、前記圧縮されたビデオ信号の変換係数のビットの和ΣMBi(なお、iは、i番目のブロックであることを表す。)の第1の累積的な和ΣΣMBiにおける、当該フレームの最後の和である第2の累積的な和(ΣMB last)を求める段階と、
    当該フレームの変換係数の総ビット数の目標となる目標値(TVAC)と、前記第の累積的な和(ΣMB last)とから、スケーリング係数(TVAC/(ΣMB last))を求める段階と、
    各マクロブロック毎に、前記第1の累積的な和に前記スケーリング係数が乗算された、前記圧縮されたビデオ信号の変換係数のビットの第3の累積的な和を、前記第1の累積的な和に置き換えて、メモリに格納する段階と、
    前記MPEG方式のAC離散コサイン変換符号化ビデオ信号における画像上のマクロブロック毎に、前記圧縮されたビデオ信号の変換係数のビットの第4の累積的な和(ΣACMBn)を求める段階と、
    マクロブロック毎に、該第の累積的な和(ΣACMBn)と前記第3の累積的な和より、少なくともEOBのビット数分小さい値(PMBn)とを比較する段階と、
    前記第の累積的な和(ΣACMBn)が、前記値(PMBn)を、超えた場合、当該マクロブロックの残りのビットを捨てる段階とを有することを特徴とする方法。
  5. 前記マクロブロックの残りのビットを捨てる段階は、画像の再生に重要でない符号化ビデオ信号における高周波成分の符号語を、それぞれのマクロブロックから、捨てる段階を有することを特徴とする請求項4記載の方法。
  6. 前記第の累積的な和を求める段階は、夫々のマクロブロックから該MPEG方式の符号化ビデオ信号のそれぞれの符号語を、それぞれのマクロブロックに基づいて選択し、選択された符号語から新しいビット量の累積的な和を形成する段階を有し、
    前記マクロブロックの残りのビットを捨てる段階は、該新しいビットの累積的な和が、前記値(PMBn)を、超えたとき、夫々のマクロブロックの符号語の選択を終了する段階を有することを特徴とする請求項4記載の方法。
JP28622595A 1994-11-04 1995-11-02 圧縮ビデオのビットストリームのスケーリング方法及び装置 Expired - Fee Related JP4454049B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/334,282 US5889561A (en) 1994-11-04 1994-11-04 Method and apparatus for scaling a compressed video bitstream
US334282 1994-11-04

Publications (2)

Publication Number Publication Date
JPH08214304A JPH08214304A (ja) 1996-08-20
JP4454049B2 true JP4454049B2 (ja) 2010-04-21

Family

ID=23306476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28622595A Expired - Fee Related JP4454049B2 (ja) 1994-11-04 1995-11-02 圧縮ビデオのビットストリームのスケーリング方法及び装置

Country Status (7)

Country Link
US (1) US5889561A (ja)
EP (1) EP0711079B1 (ja)
JP (1) JP4454049B2 (ja)
KR (1) KR100361722B1 (ja)
CN (1) CN1099809C (ja)
DE (1) DE69524847T2 (ja)
MX (1) MX9504636A (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5715009A (en) 1994-03-29 1998-02-03 Sony Corporation Picture signal transmitting method and apparatus
FR2743246B1 (fr) * 1995-12-29 1998-01-23 Thomson Broadcast Systems Procede et dispositif de compression de donnees numeriques
DE19623934A1 (de) * 1996-06-15 1997-12-18 Ise Interactive Systems Entwic Digitales Datenempfangssystem
SE515535C2 (sv) 1996-10-25 2001-08-27 Ericsson Telefon Ab L M En transkoder
US6633609B1 (en) * 1996-12-24 2003-10-14 Intel Corporation Method and apparatus for bit rate control in a digital video environment for arbitrary bandwidth
AU727884B2 (en) 1997-02-25 2001-01-04 British Broadcasting Corporation, The Digital signal compression encoding with improved quantisation
EP0899962A3 (en) * 1997-08-26 2000-11-08 Victor Company of Japan, Ltd. Apparatus for recording a digital picture
JPH11122624A (ja) 1997-10-16 1999-04-30 Matsushita Electric Ind Co Ltd ビデオデコーダ処理量を低減する方法および装置
KR100301826B1 (ko) * 1997-12-29 2001-10-27 구자홍 비디오디코더
CA2265089C (en) * 1998-03-10 2007-07-10 Sony Corporation Transcoding system using encoding history information
GB2335815B (en) * 1998-03-25 2002-02-27 Sony Uk Ltd Data compression
KR100304103B1 (ko) * 1998-05-29 2001-09-24 이계철 비트율이급변되는재양자화계단크기선택방법및그를이용한비트율제어방법
EP0971542A3 (en) * 1998-07-10 2001-08-01 Tektronix, Inc. Readjustment of bit rates when switching between compressed video streams
EP1069779B1 (en) * 1999-02-09 2016-04-13 Sony Corporation Coding system and its method
US7593433B1 (en) * 1999-03-02 2009-09-22 Cisco Technology, Inc. System and method for multiple channel statistical re-multiplexing
US6721794B2 (en) * 1999-04-01 2004-04-13 Diva Systems Corp. Method of data management for efficiently storing and retrieving data to respond to user access requests
JP3807157B2 (ja) 1999-06-25 2006-08-09 日本ビクター株式会社 符号化装置及び符号化方法
DE19946263C2 (de) * 1999-09-27 2002-06-27 Harman Becker Automotive Sys Digitales Transcodiersystem
DE19946267C2 (de) * 1999-09-27 2002-09-26 Harman Becker Automotive Sys Digitales Transcodiersystem
JP2001145113A (ja) * 1999-11-17 2001-05-25 Sony Corp 画像情報変換装置及び方法
JP3694888B2 (ja) * 1999-12-03 2005-09-14 ソニー株式会社 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体
GB2359438A (en) * 2000-02-21 2001-08-22 Snell & Wilcox Ltd Method of changing bit rate in accordance with user selected storage mode
US6839468B1 (en) * 2000-06-28 2005-01-04 International Business Machines Corporation Scaling of multi-dimensional data in a hybrid domain
AU2002215951A1 (en) * 2000-10-27 2002-05-06 Thomson Licensing S.A. Method and apparatus for preliminarily erasing parts of a bitstream recorded on a storage medium, and corresponding storage medium
US7058127B2 (en) * 2000-12-27 2006-06-06 International Business Machines Corporation Method and system for video transcoding
US6937770B1 (en) * 2000-12-28 2005-08-30 Emc Corporation Adaptive bit rate control for rate reduction of MPEG coded video
JP2002209215A (ja) * 2001-01-09 2002-07-26 Sony Corp 符号量制御装置及び方法、並びに画像情報変換装置及び方法
US6879725B2 (en) * 2001-01-26 2005-04-12 International Business Machine Corporation Method, system, and program for decoding a section from compressed data
CN1294757C (zh) * 2001-08-21 2007-01-10 北京威速科技有限公司 视频压缩码率控制方法
US6968091B2 (en) * 2001-09-18 2005-11-22 Emc Corporation Insertion of noise for reduction in the number of bits for variable-length coding of (run, level) pairs
KR100460950B1 (ko) * 2001-12-18 2004-12-09 삼성전자주식회사 트랜스코더 및 트랜스코딩 방법
US6700935B2 (en) * 2002-02-08 2004-03-02 Sony Electronics, Inc. Stream based bitrate transcoder for MPEG coded video
US7295610B2 (en) * 2002-03-27 2007-11-13 Scientific-Atlanta, Inc. Hybrid rate control in a digital stream transcoder
EP1554870A1 (en) * 2002-08-29 2005-07-20 Opentv, Inc. A method and apparatus for selecting compression for an incoming video signal in an interactive television system
EP1942462B1 (en) * 2002-11-15 2009-04-15 Qualcomm Incorporated Apparatus and method for multiple description encoding
US7564382B2 (en) * 2002-11-15 2009-07-21 Qualcomm Incorporated Apparatus and method for multiple description encoding
US7995849B2 (en) 2003-03-17 2011-08-09 Qualcomm, Incorporated Method and apparatus for improving video quality of low bit-rate video
JP4196726B2 (ja) * 2003-05-14 2008-12-17 ソニー株式会社 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
US7133051B2 (en) 2003-09-19 2006-11-07 Microsoft Corporation Full scale video with overlaid graphical user interface and scaled image
JPWO2008117541A1 (ja) * 2007-03-28 2010-07-15 パナソニック株式会社 符号化レート変換装置および符号化レート変換方法
US9172960B1 (en) * 2010-09-23 2015-10-27 Qualcomm Technologies, Inc. Quantization based on statistics and threshold of luminanceand chrominance

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5073209A (en) * 1987-09-16 1991-12-17 Giancola Dominic J Process embodiments for improving the electrical properties of conductors
JPH0828875B2 (ja) * 1989-08-21 1996-03-21 三菱電機株式会社 符号化装置および復号化装置
US5063608A (en) * 1989-11-03 1991-11-05 Datacube Inc. Adaptive zonal coder
EP0492528B1 (en) * 1990-12-27 1996-10-09 Kabushiki Kaisha Toshiba Recording/reproducing apparatus
DE69222332T2 (de) * 1991-02-21 1998-01-29 Nec Corp Kodierungsgerät zur Kompression von bewegten Bilddaten
JP3189861B2 (ja) * 1992-11-13 2001-07-16 ソニー株式会社 動画像符号化装置および方法
KR930003757A (ko) * 1991-07-31 1993-02-24 오오가 노리오 영상 신호 전송 장치 및 방법
US5144424A (en) * 1991-10-15 1992-09-01 Thomson Consumer Electronics, Inc. Apparatus for video data quantization control
US5231484A (en) * 1991-11-08 1993-07-27 International Business Machines Corporation Motion video compression system with adaptive bit allocation and quantization
JP2797159B2 (ja) * 1992-03-02 1998-09-17 カシオ計算機株式会社 画像データ圧縮装置及び画像データ圧縮方法
JP3093458B2 (ja) * 1992-07-23 2000-10-03 株式会社東芝 可変レート符・復号化装置
US5444575A (en) * 1994-01-21 1995-08-22 Hitachi America, Ltd. Method for recording digital data using a set of heads including a pair of co-located heads to record data at a rate lower than the full recording rate possible using the set of heads
US5426463A (en) * 1993-02-22 1995-06-20 Rca Thomson Licensing Corporation Apparatus for controlling quantizing in a video signal compressor
US5489943A (en) * 1994-02-14 1996-02-06 Sony Corporation One-pass adaptive bit rate control
US5500678A (en) * 1994-03-18 1996-03-19 At&T Corp. Optimized scanning of transform coefficients in video coding
US5541852A (en) * 1994-04-14 1996-07-30 Motorola, Inc. Device, method and system for variable bit-rate packet video communications
US5502493A (en) * 1994-05-19 1996-03-26 Matsushita Electric Corporation Of America Variable length data decoder for use with MPEG encoded video data

Also Published As

Publication number Publication date
CN1139351A (zh) 1997-01-01
US5889561A (en) 1999-03-30
CN1099809C (zh) 2003-01-22
MX9504636A (es) 1997-02-28
EP0711079A3 (en) 1999-02-03
KR100361722B1 (ko) 2003-02-07
DE69524847D1 (de) 2002-02-07
DE69524847T2 (de) 2002-09-26
EP0711079A2 (en) 1996-05-08
KR960020539A (ko) 1996-06-17
JPH08214304A (ja) 1996-08-20
EP0711079B1 (en) 2002-01-02

Similar Documents

Publication Publication Date Title
JP4454049B2 (ja) 圧縮ビデオのビットストリームのスケーリング方法及び装置
Sun et al. Architectures for MPEG compressed bitstream scaling
US7301999B2 (en) Quantization method and system for video MPEG applications and computer program product therefor
EP0627858B1 (en) Apparatus for further compressing and recording encoded digital video data streams
US6160844A (en) Processing digitally encoded signals
KR960013654B1 (ko) 다중채널 이미지 압축시스템용 통계처리 멀티플렉서
US6125140A (en) Processing encoded signals
US6252905B1 (en) Real-time evaluation of compressed picture quality within a digital video encoder
JP3244399B2 (ja) 圧縮動画像符号信号の情報量変換回路、及び方法
US5822005A (en) Pre-oddification
JP4114210B2 (ja) 映像データ圧縮装置およびその方法
US6683989B1 (en) Coding apparatus for recoding coded bit streams
JP4762445B2 (ja) ブロック変換ベースの復号化器で使用される方法と装置
JP4032446B2 (ja) 映像データ圧縮装置およびその方法
JPWO2002080575A1 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
JPH0884339A (ja) 画像再圧縮方法及び画像再圧縮装置
KR100338725B1 (ko) 목표부호량에근접시킨영상신호부호화방법및그에따른장치
JP4038774B2 (ja) 符号化装置及び符号化方法
JP3082957B2 (ja) 画像処理方法
JPH09261633A (ja) 映像データ圧縮装置およびその方法
JPH1066092A (ja) 映像データ圧縮装置およびその方法
WO1999011071A1 (en) Partially parallel decoder for compressed hdtv video data
KR100335435B1 (ko) 영상 신호의 압축 부호화기 및/또는 복호화기와 그 방법
KR0147941B1 (ko) 고속재생을 위한 부호화시스템
JPH1066082A (ja) 映像データ圧縮装置およびその方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050419

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050715

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061003

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20061228

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070329

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080630

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080902

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20090319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091211

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100202

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130212

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140212

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees