JPH1174798A - 圧縮入力ビットストリーム処理装置 - Google Patents

圧縮入力ビットストリーム処理装置

Info

Publication number
JPH1174798A
JPH1174798A JP10174399A JP17439998A JPH1174798A JP H1174798 A JPH1174798 A JP H1174798A JP 10174399 A JP10174399 A JP 10174399A JP 17439998 A JP17439998 A JP 17439998A JP H1174798 A JPH1174798 A JP H1174798A
Authority
JP
Japan
Prior art keywords
bitstream
bit stream
compressed
decoding
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP10174399A
Other languages
English (en)
Inventor
Sam J Liu
サム・ジェイ・リウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HP Inc
Original Assignee
Hewlett Packard Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Co filed Critical Hewlett Packard Co
Publication of JPH1174798A publication Critical patent/JPH1174798A/ja
Ceased legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】いかなる圧縮状態のビットストリームをも復号
処理し、入力と同じまたは相違する圧縮状態の出力ビッ
トストリームを生成することができるビデオ処理システ
ムを提供する。 【解決手段】本発明のシステムは、入力ビットストリー
ムを復号する複数の復号モジュールを含む多層復号器、
復号されたビットストリームに対しして所望の処理を実
行して修正ビットストリームを作成するプロセッサ、お
よび、修正ビットストリームを再符号化して圧縮出力ビ
ットストリームを作成する複数の符号化モジュールを含
む多層符号化器を備える。多層復号器は所望の復号のレ
ベルの復号の完了と共に後段の復号動作を停止し、多層
符号化器が復号段階に対応するレベルからの符号化を行
うようことによって、すべてを復号しすべてを符号化す
る場合に必要となる計算処理資源を節約すると共に、い
かなる圧縮状態のビットストリームをも入出力すること
ができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ビットストリーム
の処理に関するもので、特に、処理の実行に必要な資源
を節約しながら圧縮されたビットストリームを処理する
技術に関するものである。
【0002】
【従来の技術】情報信号を表現するビットストリーム
は、通信バンド幅または必要記憶容量を節約するためし
ばしば圧縮される。例えば、動画を表現するビデオ・ビ
ットストリームを送信または記憶するために必要とされ
るバンド幅または信号記憶容量は、適切な空間的一時的
圧縮を適用することによって100というオーダーで縮
減させることができる。そのような空間的および一時的
圧縮方式はISOによって標準化されているMPEG−
1およびMPEG−2方式を含む。
【0003】ビデオ信号を表現するビデオ・ビットスト
リームの生成、分配および表示は、たびたび、なんらか
の形でビデオ・ビットストリームを処理することを伴
う。そのような処理がビデオ・ビットストリームによっ
て表現されたビデオ信号を修正する場合もある。例え
ば、処理は、ビデオ信号へカラー補償または異なるガン
マ補償を適用するかもしれないし、あるいは、ノイズ減
少を適用するかもしれない。そのような処理は、付加的
にあるいは代替的にビデオ信号を1つの規格から別の規
格へ変換するように実行されることもある。その際、各
ピクチャの画素(ピクセル)の数が変わるかもしれない
し、それに加えてあるはいそれとは別にピクチャ率が変
わるかもしれない。更に、ビデオ・ビットストリームが
圧縮される時、処理は、圧縮されたビデオ・ビットスト
リームのビットストリーム特性を修正するかもしれな
い。例えば、圧縮ビデオ・ビットストリームは、異なる
サイズの復号器バッファを持つ復号器を使用して復号さ
れることができるように、そのビット率を変えるかまた
はそれを再構成するように処理されることもある。
【0004】圧縮入力ビットストリームを処理する従来
技術の装置10の1例が図1に示されている。この例で
は、圧縮入力ビットストリームは、MPEG準拠のビデ
オ・ビットストリームである。同様の構成を使用して、
他の規格に従って圧縮デオ・ビットストリームを処理す
ることもできる。図1に示される従来技術の装置10に
おいて、MPEG復号器14は、ビデオ・ビットストリ
ーム16を復元するため圧縮入力ビットストリーム12
を復号する。ビデオ・プロセッサ18は、処理選択ブロ
ック20によって定義される処理をビデオ・ビットスト
リーム16に適用して修正ビデオ・ビットストリーム2
2を生成する。修正ビデオ・ビットストリームはMPE
G符号化器24に供給され、MPEG符号化器24は、
処理選択ブロック20によって定義されたビット率、バ
ッファ・サイズなどのようなビットストリーム特性を持
つように、修正ビデオ・ビットストリームを再符号化す
ることによって圧縮出力ビットストリーム26を生成す
る。圧縮出力ビットストリームの特性は圧縮入力ビット
ストリーム12の特性と同じことも異なることもある。
処理選択ブロックによって選択された処理がビットスト
リーム特性を変更することだけを必要とすれば、ビデオ
・プロセッサ18は、無修正のままビットストリーム1
6をMPEG符号化器24に渡す。
【0005】
【発明が解決しようとする課題】修正ビデオ・ビットス
トリーム22に対してMPEG符号化器24によって実
行される演算は、圧縮入力ビットストリーム12に対し
てMPEG復号器14によって実行される演算に比較し
て非常に計算処理集約的である。例えば、NTSCビデ
オ信号を表現するビデオ・ビットストリームをリアル・
タイムで符号化するためには、686型マイクロプロセ
ッサに等しい計算能力を持つマイクロプロセッサを基に
する専用ハードウェアまたはコンピュータが必要とされ
る。従って、従来技術の装置10は複雑でコスト高であ
る。
【0006】MPEG符号化器24によって実行される
演算のうち、各ブロック毎の動きベクトルを決定するた
めに使用される動き推定演算が最も計算集約的である。
動き推定を実行するために要求される演算の数は、動き
検索地域の範囲の減少によってあるいは迅速な動き検索
アルゴリズムの使用によって減少させることが可能であ
るが、これらアプローチの両方とも必然的にビデオ品質
を劣化させる。受け入れることのできるビデオ品質を保
証するためには、MPEG符号化器24は、効率的では
あるが最適状態に及ばない動き推定アルゴリズムを用い
て比較的大きい検索地域を使用して大部分のシーケンス
を符号化する。しかし、このアプローチは、多大な計算
処理資源を必要とする。
【0007】必要とされることは、特別なハードウェア
の必要性なしに、あるいは、比較的低コストのマイクロ
プロセッサを基にしたコンピュータを使用して、圧縮入
力ビットストリームに対する上述の処理を実行する能力
である。また、現在利用可能なハードウェアを使用して
リアルタイムで一層迅速に圧縮された入力ビットストリ
ームに対する上述の処理を実行する能力が必要とされて
いる。
【0008】ビデオ作成および分配環境においては、ビ
デオ・ビットストリームは、多数の異なる処理演算に依
存することがある。従来技術では、多数のプロセッサを
連結することによって、複数の処理演算がビデオ・ビッ
トストリームに適用される。各プロセッサは、先行プロ
セッサによって生成された従来技術のピクセル・レベル
のビデオ・ビットストリームに対して処理を行う。その
ようなプロセッサ連結構成は、図1で示されるビデオ・
プロセッサ18を置き換えるものである。
【0009】ビデオ・ビットストリームに対して複数の
処理演算を実行するため連結構成のプロセッサを使用す
ることは、各プロセッサによって処理されるビデオ・ビ
ットストリームが従来技術のビデオ・ビットストリーム
であることを必要とする。圧縮されたまたは部分的に圧
縮されたビデオ・ビットストリームを処理するプロセッ
サは、従来技術のビデオ・ビットストリームを処理する
プロセッサ、または、別の形態で圧縮されたビデオ・ビ
ットストリームに対する処理を行うプロセッサと連結す
ることはできない。更に、従来技術のビデオ・ビットス
トリームすなわち圧縮されていないビデオ・ビットスト
リームに対して処理を行うプロセッサは、処理の前に圧
縮された入力ビットストリームを全面的に復号しプロセ
ッサによって生成される修正ビットストリームを全面的
に再符号化するため、計算処理資源を費やさなければな
らない。最後に、プロセッサの前段階に従来型の復号器
が配置されプロセッサの後段に従来型の符号化器が配置
される処理システムは、圧縮入力ビットストリームが復
号器の圧縮基準に合うように圧縮され、符号化器の圧縮
基準に従って出力ビットストリームが圧縮されること必
要とする。
【0010】このように、異なる圧縮状態のビットスト
リームを処理する複数プロセッサが連結されることを可
能にし、いかなる圧縮状態の圧縮入力ビットストリーム
をも処理することができ、圧縮入力ビットストリームと
同じ、またはそれより大きい、またはそれより小さい圧
縮状態で圧縮出力ビットストリームを生成することがで
きるビデオ処理システムが求められている。
【0011】
【課題を解決するための手段】本発明は、ビデオ信号の
ような情報信号を表現する圧縮入力ビットストリームを
処理する装置を提供する。該装置は、圧縮入力ビットス
トリームによって表現されている情報信号を変更するよ
うに圧縮入力ビットストリームを処理する。該装置は、
圧縮入力ビットストリームを復号して復号ビットストリ
ームを作成する多層復号器、復号ビットストリームを処
理して修正ビットストリームを作成する復号ビットスト
リーム・プロセッサ、修正ビットストリームを再符号化
して圧縮出力ビットストリームを提供する多層符号化
器、および選択的相互連結経路を備える。多層復号器
は、直列に連結された複数の復号モジュールを含む。復
号ビットストリーム・プロセッサは、情報信号を修正す
るように復号ビットストリームを処理する。多層符号化
器は、各々が多層復号器における復号モジュールの1つ
に対応する直列に連結された複数の符号化モジュールを
含む。選択的相互連結経路は、復号モジュールのうちの
1つの出力を復号ビットストリーム・プロセッサの入力
に選択的に接続し、復号ビットストリーム・プロセッサ
の出力を復号モジュールのうちの1つに対応する符号化
モジュールの1つの入力に選択的に接続する。
【0012】本発明は、また、情報信号を表現する圧縮
入力ビットストリームのビットストリーム特性を修正す
る装置を提供する。該装置は、圧縮入力ビットストリー
ムによって表現される情報信号を必ずしも実質的に変更
せずに圧縮入力ビットストリームのビットストリーム特
性を修正する。該装置は、圧縮出力ビットストリームの
ビットストリーム特性を定義する出力ビットストリーム
定義を提供するコントローラ、圧縮入力ビットストリー
ムからビットストリーム・パラメータを導出する導出エ
レメントを含む多層復号器、ビットストリーム・パラメ
ータ送出経路、および圧縮出力ビットストリームを生成
する多層符号化器を備える。多層復号器は、圧縮入力ビ
ットストリームを復号して復号ビットストリームを作成
する。ビットストリーム・パラメータ送出経路は、多層
復号器からビットストリーム・パラメータを受け取るよ
うに多層復号器に接続する。多層符号化器は、ビットス
トリーム・パラメータ送出経路に接続し,圧縮入力ビッ
トストリームから導出されたビットストリーム・パラメ
ータを再使用して出力ビットストリーム定義に従って復
号ビットストリームを再符号化する。
【0013】本発明は、また、情報信号を表現する圧縮
入力ビットストリームを処理する方法を提供する。該方
法は、圧縮入力ビットストリームによって表現される情
報信号を変更するように圧縮入力ビットストリームを処
理する。該方法では、圧縮入力ビットストリームは部分
的に復号され、復号ビットストリームが作成される。復
号ビットストリームは、情報信号を表現する部分的に符
号化されたビットストリームである。修正ビットストリ
ームは、情報信号を修正するように復号ビットストリー
ムを処理することによって生成される。修正ビットスト
リームは部分的に符号化されたビットストリームであ
る。最後に、修正ビットストリームが再符号化され、圧
縮出力ビットストリームが生成される。
【0014】本発明は、更に、情報信号を表現する圧縮
入力ビットストリームのビットストリーム特性を修正す
る方法を提供する。該方法は、圧縮入力ビットストリー
ムによって表現される情報信号を必ずしも実質的に変更
せずにビットストリーム特性を修正する。該方法におい
て、出力ビットストリーム定義が生成される。出力ビッ
トストリーム定義は、圧縮出力ビットストリームのビッ
トストリーム特性を定義する。ビットストリーム・パラ
メータが、圧縮入力ビットストリームから導出される。
圧縮入力ビットストリームは、復号ビットストリームを
提供するため少くとも部分的に復号される。最後に、圧
縮入力ビットストリームから導出されたパラメータを使
用して復号ビットストリームが再符号化され、出力ビッ
トストリーム定義によって定義されたビットストリーム
特性を持つ圧縮出力ビットストリームが生成される。
【0015】本発明は、また、情報信号を表現する圧縮
入力ビットストリームを処理する装置を提供する。該装
置は、圧縮入力ビットストリームによって表現される情
報信号を変更するように圧縮入力ビットストリームを処
理する。該装置は、第1の圧縮状態変換ユニット、プロ
セッサおよび第2の圧縮状態変換ユニットを含む。第1
の圧縮状態変換ユニットは、圧縮入力ビットストリーム
を入力ビットストリームとして受け取り、圧縮入力ビッ
トストリームの圧縮状態を変更して、出力ビットストリ
ームを生成する。プロセッサは、第1の圧縮状態変換ユ
ニットの出力ビットストリームを受け取ってそれを処理
して修正ビットストリームを生成する。プロセッサは、
情報信号を修正するように出力ビットストリームを処理
する。第2の圧縮状態変換ユニットは、修正ビットスト
リームを入力ビットストリームとして受け取り、修正ビ
ットストリームの圧縮状態を変更して、圧縮出力ビット
ストリームとして出力ビットストリームを生成する。
【0016】第1および第2の状態変換ユニットは、各
々、多層符号化/復号モジュール、入力インタフェース
・モジュールおよび出力インタフェース・モジュールを
含む。入力インタフェース・モジュールは、入力ビット
ストリームを符号化/復号モジュールの1つに選択的に
接続する。入力ビットストリームがどの符号化/復号モ
ジュールの1つに接続されるかは、入力ビットストリー
ムの圧縮状態に依存する。出力インタフェース・モジュ
ールは、符号化/復号モジュールの1つの出力からビッ
トストリームを出力ビットストリームとして選択的に受
け取る。ビットストリームをどの符号化/復号モジュー
ルの1つから受け取るかは、出力ビットストリームの圧
縮状態に依存する。出力ビットストリームの圧縮状態
は、入力ビットストリームのそれと異なることも可能で
ある。
【0017】最後に、本発明は、情報信号を表現する圧
縮された入力ビットストリームを処理する方法を提供す
る。該方法において、多層符号化/復号モジュールが提
供される。符号化/復号モジュールの第1のセットおよ
び符号化/復号モジュールの第2のセットが多層符号化
モジュールから選択される。圧縮入力ビットストリーム
の圧縮状態は符号化/復号モジュールの第1のセットを
使用して変更され、第1の出力ビットストリームが作成
される。第1の出力ビットストリームは処理されて、修
正ビットストリームが生成される。第1の出力ビットス
トリームは情報信号を修正するように処理されるが、第
1の出力ビットストリームと同じ圧縮状態の修正ビット
ストリームが生成される。最後に、修正ビットストリー
ムの圧縮状態が符号化/復号モジュールの第2のセット
を使用して変更され、第2の出力ビットストリームが作
成される。
【0018】
【発明の実施の形態】本明細書において、情報信号の圧
縮状態という用語を引用する。MPEGおよびそれと同
様の圧縮方式に従って圧縮されたビットストリームは、
オリジナルの情報信号に対して適用される定められた数
の圧縮の層の結果である。圧縮ビットストリームは、オ
リジナルの情報信号に対して定められた数より少ない圧
縮層を適用して生成される場合もある。従って、情報信
号を表現する圧縮ビットストリームは、情報信号へ適用
された圧縮の層の数に依存する圧縮状態を持つものとし
て見なすことができる。圧縮ビットストリームの圧縮状
態は、圧縮ビットストリームに符号化演算の層を付加的
に適用することによって増加され、圧縮ビットストリー
ムに復号演算の層を適用することによって減少される。
【0019】図2には、本発明に従う圧縮ビットストリ
ーム処理装置の第1の実施形態100が示されている。
図示されている例は、MPEG準拠のビデオ・ビットス
トリームを処理するように構成されているが、情報信号
を表現するその他のタイプの圧縮ビットストリームを処
理するためにも容易に適応できる。圧縮ビットストリー
ム処理装置100は、多層復号器114、復号ビットス
トリーム・プロセッサ118、多層符号化器124およ
び多層復号器および多層符号化器を相互連結させるビッ
トストリーム・パラメータ送出経路128という4つの
主要ユニットから構成される。また、実行される処理演
算をユーザが選択または定義することを可能にするよう
に圧縮ビットストリーム処理装置が設計されるとすれ
ば、該装置は、ユーザから命令を受け取り、多層復号
器、プロセッサおよび多層符号化器によって実行される
処理を制御する処理選択モジュール120を更に含む。
ユーザから命令を受け取らない場合、処理選択モジュー
ルは、圧縮ビットストリーム処理装置が圧縮入力ビット
ストリームに対してあらかじめ定められた処理演算を実
行するように、多層復号器、プロセッサおよび多層符号
化器によって実行される処理を制御する。
【0020】多層復号器114は、圧縮入力ビットスト
リーム112を復号して、復号されたビットストリーム
116を生成し、復号ビットストリーム・プロセッサ1
18に、復号ビットストリームを渡す。多層復号器は、
復号ビットストリーム・プロセッサ118によって必要
とされる圧縮状態の復号ビットストリームを生成する。
例えば、復号ビットストリーム・プロセッサが従来技術
のビデオ・ビットストリームを処理する従来技術のビッ
トストリーム・プロセッサである場合、復号ビットスト
リームは従来技術のビデオ・ビットストリームである。
代替的に、復号ビットストリーム・プロセッサは、主に
DCT係数からなるビットストリームのような部分的に
圧縮されたビデオ・ビットストリームを処理することも
できる。この場合、復号されたビットストリームは、主
としてDCT係数から構成される。
【0021】多層復号器114は、更に、圧縮入力ビッ
トストリームからビットストリーム・パラメータと呼ば
れる種々のパラメータを導出する。ビットストリーム・
パラメータは、圧縮入力ビットストリーム112から導
出されるか、あるいは、圧縮入力ビットストリームを復
号する過程で多層復号器によって導出される。以下の記
述において、導出されるという用語は、これらのいずれ
の可能性をも含むものと解釈されるべきである。ビット
ストリーム・パラメータは、圧縮入力ビットストリーム
によって表現されるビデオ・ビットストリームの各ピク
チャを定義し、符号化された量子化DCT係数、動きベ
クトル、量子化テーブル、マクロブロック・タイプ情報
およびヘッダ情報を含む。ヘッダ情報は、ブロックあた
りのビット数およびピクチャあたりのビット数のような
統計情報を含む。多層復号器は、ビットストリーム・パ
ラメータ送出経路128を経由してビットストリーム・
パラメータを多層符号化器124に送出する。
【0022】復号ビットストリーム・プロセッサ118
は、多層復号器114から受け取る復号ビットストリー
ム116を処理して、処理結果である修正ビットストリ
ーム122を多層符号化器124に渡す。多層符号化器
は、また、ビットストリーム・パラメータ送出経路12
8に接続していて、そこから、多層復号器によって圧縮
入力ビットストリーム112から導出されたビットスト
リーム・パラメータを受け取る。多層符号化器は、修正
ビットストリームを部分的または全面的に再符号化する
ことによって圧縮出力ビットストリーム126を生成す
る。この実施形態において、多層符号化器によって実行
される再符号化の範囲は、多層復号器によって実行され
た復号の範囲と同じものである。
【0023】多層復号器114は、復号ビットストリー
ム・プロセッサ118によって必要とされる圧縮状態に
圧縮入力ビットストリーム112を復号ようにだけ動作
する。この圧縮状態は、圧縮入力ビットストリーム11
2の圧縮状態より少ないが、従来技術のビデオ・ビット
ストリームの圧縮状態より大きいかもしれない。この実
施形態においては、修正ビットストリーム122は復号
ビットストリーム116と同じ圧縮状態にある。多層符
号化器124は、多層復号器114によって圧縮入力ビ
ットストリーム112から導出されたビットストリーム
・パラメータの少くともいくつかを再使用して修正ビッ
トストリームを再符号化する。ビットストリーム・パラ
メータの再使用は、再使用されるビットストリーム・パ
ラメータと同等の新しいパラメータを計算するとした場
合多層符号化器が計算処理資源を費やす無駄を防止す
る。このように、本発明に従う圧縮ビットストリーム処
理装置100は、従来技術の圧縮ビットストリーム処理
装置に比較して、小規模のハードウェアまたは能力の小
さいコンピュータまたはデジタル信号プロセッサを使用
して、圧縮された入力ビットストリームの所望の処理を
実行することができる。代替的には、従来技術の装置と
比較して、本発明に従う圧縮ビットストリーム処理装置
は、所与のハードウェアまたは所与のコンピュータを使
用して、一層迅速に、例えばリアルタイムより速く、所
望の処理を実行することができる。
【0024】圧縮ビットストリーム処理装置100の詳
細を以下に記述する。特に、多層復号器114および多
層符号化器124の詳細を図2および図3を参照して記
述する。多層復号器114を最初に記述する。多層復号
器は、圧縮入力ビットストリーム112を受け取り、部
分的または全面的に圧縮入力ビットストリームを復号
し、復号結果である復号ビットストリーム116を復号
ビットストリーム・プロセッサ118へ供給する。多層
復号器は、また、圧縮入力ビットストリームからビット
ストリーム・パラメータを導出し、ビットストリーム・
パラメータ送出経路128を経由してビットストリーム
・パラメータを多層符号化器124に供給する。図示さ
れている例においては、圧縮入力ビットストリーム11
2および圧縮出力ビットストリーム126は、共に、M
PEG準拠のビデオ・ビットストリームである。
【0025】従来技術のMPEG復号器と同様に、多層
復号器114は、圧縮入力ビットストリーム112を復
号するため共同動作する直列接続の(複数の)復号モジュ
ールを含む。しかしながら、本発明の多層復号器は、従
来技術のMPEG復号器と相違して、復号モジュールの
いずれか1つの復号完了時点で圧縮入力ビットストリー
ムの復号を停止することができるので、圧縮入力ビット
ストリームは、復号ビットストリーム・プロセッサ11
8によって必要とされる圧縮状態にのみ復号されること
ができる。多層復号器がその時点で復号を停止する復号
モジュールは、制御経路132を経由して処理選択モジ
ュール120によって供給される復号制御データに依存
する。復号制御データが、すべての復号モジュールが圧
縮入力ビットストリームを復号するように多層復号器を
設定すると、多層復号器は、従来技術のビデオ・ビット
ストリームとして復号ビットストリーム116を生成す
るように圧縮入力ビットストリームを復号する。従来技
術のビデオ・ビットストリームのピクチャは提示の順序
であり、ビットストリームは各ピクチャの各ピクセルに
対するピクセル値を含む。圧縮入力ビットストリームを
復号するため復号モジュールの一部が選択されるように
復号制御データが多層復号器を設定すると、圧縮入力ビ
ットストリームは部分的に復号されるだけである。この
場合、復号されたビットストリーム116は、従来技術
のビデオ・ビットストリームではなく、部分的に圧縮さ
れている。例えば、復号ビットストリーム116は、各
ピクチャの各ブロックに関してDCT値のセットを含む
かもしれない。
【0026】多層復号器114が復号モジュールのいず
れか1つの復号完了時点で圧縮入力ビットストリームの
復号を停止することができるので、各復号モジュールの
出力は、後続の復号モジュールの入力に接続しているだ
けではなく、出力セレクタ215にデータを送る出力バ
ス134にも接続している。出力セレクタの詳細は後述
される。
【0027】多層復号器114を構成する複数復号モジ
ュールは、従来技術のMPEG復号器の対応するモジュ
ールに基づいている。当業者がそのような従来技術のモ
ジュールの構造および動作に精通していると仮定される
ので、復号モジュールについては以下にその要点を記述
するにとどめる。復号モジュールは、図3に示されるよ
うに、復号器バッファ201、デマルチプレクサ(DE
MUX)203、逆可変長符号化器(IVLC)205、
逆量子化器(IQ)207、逆離散型コサイン変換モジュ
ール(IDCT)209、動き補償器(MC)211および
空間ビットストリーム出力モジュール213を含む。
【0028】圧縮入力ビットストリーム、すなわち、こ
の例においては一定のビット率ビデオ・ストリームは、
復号器バッファ201に一時的に記憶される。圧縮入力
ビットストリームは、ビットストリームに埋め込まれた
ヘッダに含まれるタイミング制御データに応じて一度に
1ピクチャずつ復号器バッファからデマルチプレクサ2
03へ転送される。デマルチプレクサは、各ピクチャに
関連する圧縮入力ビットストリーム部分をその構成ビッ
トストリーム・パラメータに分割する。ビットストリー
ム・パラメータは、圧縮入力ビットストリームによって
表現されるビデオ・ビットストリームの各ピクチャを定
義し、コード化され量子化されたDCT係数、動きベク
トル、量子化テーブル、マクロブロック・タイプ情報お
よびヘッダ情報を含む。ヘッダ情報は、ブロックあたり
のビット数およびピクチャあたりのビット数のような統
計情報を含む。復号器ビットストリーム・パラメータ・
バス136は、デマルチプレクサの出力をその他の復号
モジュールの入力と連結させ、デマルチプレクサからそ
の他の復号モジュールへビットストリーム・パラメータ
を渡す。復号モジュールの各々は、1つまたは複数の先
行復号モジュールから受け取るデータのみならず復号器
ビットストリーム・パラメータ・バスを経由して受け取
るビットストリーム・パラメータをも使用して復号演算
を実行する。加えて、復号器ビットストリーム・パラメ
ータ・バスは、ビットストリーム・パラメータ送出モジ
ュール130に接続してビットストリーム・パラメータ
送出経路128の一部を形成する。
【0029】ビットストリーム・パラメータ送出モジュ
ール130は、復号器ビットストリーム・パラメータ・
バス136を経由して多層復号器114からビットスト
リーム・パラメータを受け取る。ビットストリーム・パ
ラメータ送出モジュールは、復号ビットストリーム・プ
ロセッサ118および多層符号化器124のいずれかあ
るいは両者による後の使用に備えてそれらビットストリ
ーム・パラメータを一時的に記憶する。ビットストリー
ム・パラメータ送出モジュールは、また、符号化器ビッ
トストリーム・バス140の適切な経路にビットストリ
ーム・パラメータを送り出す。符号化器ビットストリー
ム・パラメータ・バスは、後刻修正ビットストリーム1
22を再符号化する際の使用のためビットストリーム・
パラメータを多層符号化器の符号化モジュールに接続す
る。
【0030】逆可変長符号化器205はデマルチプレク
サ203から符号化された量子化DCT係数を受け取
り、それら係数に適用された可変長符号化動作を反転さ
せて量子化されたDCT係数を生成する。量子化DCT
係数は、逆量子化器207および出力セレクタ215へ
の接続のため出力バス134に供給される。更に、量子
化DCT係数は、多層符号化器124への送出のためビ
ットストリーム・パラメータとしてビットストリーム・
パラメータ送出経路128にも供給される場合もある。
【0031】逆量子化器207は、逆可変長符号化器2
05から量子化DCT係数を受け取り、また、復号器ビ
ットストリーム・パラメータ・バス136を経由してデ
マルチプレクサ203から量子化テーブルを受け取る。
逆量子化器は、DCT係数のブロックを生成するため量
子化DCT係数に適用された量子化を反転させる。DC
T係数は、逆DCTモジュール209、および出力セレ
クター215への接続のため出力バス134に供給され
る。更に、DCT係数は、多層符号化器124への送出
のためビットストリーム・パラメータとしてビットスト
リーム・パラメータ送出経路128にも供給される場合
もある。
【0032】逆DCTモジュール209は、逆量子化器
207からDCT係数のブロックを受け取り、DCT係
数のブロックへ逆離散コサイン変換を適用して、それぞ
れの差分ブロックを生成する。差分ブロックは、動き補
償器211、および、出力セレクター215への接続の
ため出力バス134に供給される。更に、差分ブロック
は、多層符号化器124への送出のためビットストリー
ム・パラメータとしてビットストリーム・パラメータ送
出経路128にも供給される場合もある。
【0033】動き補償器211は、逆DCTモジュール
209から差分ブロックを受け取り、また、空間ビット
ストリーム出力モジュール213におけるピクチャ・メ
モリ(図示されていない)のページに記憶されている再構
築されたピクチャからそれぞれの基準ブロックを受け取
る。ピクチャ・メモリは、差分ブロックに関する動きベ
クトルに応答して再構築されたピクチャからそれぞれの
基準ブロックを選択する。ピクチャ・メモリは、復号器
ビットストリーム・パラメータ・バス136を経由して
マルチプレクサ203から動きベクトルを受け取る。動
き補償器は、差分ブロックにおける各々の差分を基準ブ
ロックにおける対応するピクセル値へ追加して新しい再
構築されたピクチャ・ブロックの新しいピクセル値を生
成する。動き補償器は、空間ビットストリーム出力モジ
ュール213に再構築されたピクチャ・ブロックを供給
する。動き補償器は、また、出力セレクタ215への接
続のため出力バス134上へ再構築されたピクチャ・ブ
ロックを供給する。出力セレクタに供給される連続的再
構築ピクチャ・ブロックが、ブロック形式ビデオ・ビッ
トストリームを構成する。このビットストリームにおけ
るピクチャの順序は符号化の順である。符号化の順序
は、ピクチャが見る人に提示される提示順序とは異な
る。
【0034】差分ブロックがBピクチャとして符号化さ
れたピクチャのブロックである場合、基準ブロックは、
ピクチャ・メモリに記憶された2つの再構築されたピク
チャから選択されるかもしれない。しかしながら、以下
の記述を単純化するため、ピクチャがBピクチャとして
復号または符号化される場合再構築ピクチャのブロック
の選択は再構築されたピクチャより多数のブロックを選
択することを意味するものとする。
【0035】空間ビットストリーム出力モジュール21
3が動き補償器211から各再構築ピクチャ・ブロック
を受け取り、再構築されたピクチャがピクチャ・メモリ
のページに構築されているものとしてピクチャ・メモリ
に再構築されたピクチャ・ブロックを記憶する。このペ
ージは、基準ブロックを供給したピクチャが記憶される
ページとは異なる。再構築されたピクチャのすべてのブ
ロックがピクチャ・メモリに記憶されると、再構築され
たピクチャは、空間ビットストリーム出力モジュールが
出力セレクタ215への接続のため出力バス134上へ
それを読み出すことができる状態となる。空間ビットス
トリーム出力モジュールは、従来技術のビデオ・ビット
ストリームのピクチャとして、ラスタ走査形式および提
示の順序で再構築されたピクチャを読み出す。
【0036】上述のように、逆可変長符号化器205、
逆量子化器207、逆DCTモジュール209、動き補
償器211および空間ビットストリーム出力モジュール
213は、制御経路132を経由して処理選択モジュー
ル120から受け取った復号制御データに応じて選択的
に動作する。復号制御データは、圧縮入力ビットストリ
ームを復号するため実際に使用される復号モジュールを
選択する。例えば、ユーザがシステムに対して圧縮入力
ビットストリームに関する空間フィルタリングの実行を
命令し、復号ビットストリーム・プロセッサ118が、
DCT係数のブロックに対するそのようなフィルタリン
グを実行する機能を有しているとすれば、復号制御デー
タによって逆可変長符号化器205および逆量子化器2
07が稼働し、出力セレクタ215が、逆量子化器から
復号ビットストリーム・プロセッサ118へ部分的に復
号されたビットストリームを復号ビットストリーム11
6として接続する。復号制御データは、出力が復号ビッ
トストリーム116として選択される復号モジュールの
下流にある復号モジュールを非活動状態にさせる。それ
ら復号モジュールは、例えば、逆DCTモジュール20
9、動き補償器211および空間ビットストリーム出力
モジュール213である。それら復号モジュールは圧縮
入力ビットストリームをDCT係数レベルへ復号するた
めに必要とされないので、非活動状態とすることができ
る。これによって、さもなければ復号モジュールのため
に使用されるであろう計算処理資源を他の目的に使用す
ることが可能となる。
【0037】多層復号器114において、出力セレクタ
215が出力バス134に接続し、そこを経由して復号
モジュール201−213の出力を受け取る。出力セレ
クタは、また、復号制御データを受け取るため制御経路
132に接続している。出力セレクタの出力は、復号ビ
ットストリーム・プロセッサ118の入力に接続してい
る。復号制御データに応答して、出力セレクタは、復号
ビットストリーム116の役目を果たす復号モジュール
のうちの1つの出力を選択し、このビットストリームを
復号ビットストリーム・プロセッサ118の入力へ送
る。
【0038】注意されるべき点であるが、本発明に従う
圧縮ビットストリーム処理装置100がコンピュータま
たはデジタル信号プロセッサとして実施される場合、コ
ンピュータまたはデジタル信号プロセッサ(すなわちD
SP)が、ビットストリーム・パラメータ送出経路12
8、ビットストリーム・パラメータ送出モジュール13
0、出力バス134および復号器ビットストリーム・パ
ラメータ・バス136のようなエレメントを欠いている
可能性がある。その場合、上記形態に代えて、例えば、
出力セレクタ215は、圧縮入力ビットストリームを復
号するため最後の復号モジュールによって出力されたデ
ータが記憶されているアドレスを復号ビットストリーム
・プロセッサ118に通信することも可能である。次
に、復号ビットストリーム・プロセッサは、それらアド
レスに記憶されているデータを取り出し、それらデータ
に対して復号されたビットストリーム処理を実行するこ
とができる。同じように、ビットストリーム・パラメー
タ送出経路128が、多層復号器によって圧縮入力ビッ
トストリームから導出されたビットストリーム・パラメ
ータが記憶されているアドレスを多層符号化器124に
通信することも可能である。次に、多層符号化器124
の該当する符号化モジュールは、その符号化処理を実行
する際に使用するためこれらアドレスに記憶されている
ビットストリーム・パラメータを取り出すことができ
る。更に注意すべき点であるが、コンピュータおよびD
SPに基づく実施形態においては、復号モジュールは短
命かもしれないし、装置は、圧縮入力ビットストリーム
112を復号するために使用されない復号モジュールに
対応するるエレメントを備えない場合もあり得る。
【0039】次に復号ビットストリーム・プロセッサ1
18を記述する。復号ビットストリーム・プロセッサ
は、多層復号器114から復号されたビットストリーム
116を受け取り、復号ビットストリーム116を処理
して修正されたビットストリーム122を生成する。復
号ビットストリーム・プロセッサは、MPEG圧縮の一
部ではないようないかなる従来技術の処理演算をも実行
することができる。これらの処理演算は、色補償、スケ
ーリング、鮮明化、ノイズ減少等々を含む。図示されて
いる例では、復号ビットストリーム・プロセッサ118
によって復号ビットストリーム116に対して実行され
る処理演算は、ユーザが指定するものであり、それは処
理選択モジュール120へのユーザの入力によって設定
される。
【0040】復号ビットストリーム・プロセッサ118
によって実行される処理演算は、復号ビットストリーム
116の圧縮状態に依存する。例えば、復号ビットスト
リーム・プロセッサは、ピクチャ鮮明化演算を、空間ビ
ットストリーム出力モジュール213によって生成され
た従来技術のビデオ・ビットストリームに対してでも、
逆量子化器207によって生成されたDCT係数に対し
てでも、実行することができる。所望のピクチャ鮮明化
を達成するため、復号ビットストリーム・プロセッサ
は、復号ビットストリーム116が空間ビットストリー
ム出力モジュールによって生成されたかあるいは逆量子
化器によって生成されたかどうかに応じて、異なるピク
チャ鮮明化演算を実行する。
【0041】復号ビットストリーム・プロセッサ118
によって処理された復号ビットストリーム116が、多
層復号器114による圧縮入力ビットストリーム112
の部分的復号かあるいは全面的復号の結果であるか否か
は、ピクチャ品質と計算処理量の間のトレードオフに依
存する。例えば、復号ビットストリーム・プロセッサが
多層復号器の空間ビットストリーム出力モジュール21
3によって生成された従来技術のビデオ・ビットストリ
ームに対するピクチャ鮮明化演算を実行する時、結果
は、復号ビットストリーム・プロセッサが逆量子化器2
07によって生成されたDCT係数に対してピクチャ鮮
明化演算を実行する場合に得られるものより典型的には
良好である。しかしながら、従来技術のビデオ・ビット
ストリームに対して行われる復号ビットストリーム・プ
ロセッサ演算のコスト効率は比較的悪い。なぜならば、
多層復号器が従来技術のビデオ・ビットストリームのレ
ベルへ圧縮入力ビットストリームを復号するため、およ
び、多層符号化器が従来技術のビデオ・ビットストリー
ムのレベルから修正ビデオ・ビットストリームを再符号
化するため必要とされる付加的復号および符号化モジュ
ールを備えるには一層多くの計算処理資源が費消されな
ければならないからである。
【0042】圧縮ビットストリーム処理装置100が、
圧縮入力ビットストリーム122によって表されるビデ
オ信号を修正することなく圧縮入力ビットストリーム1
12のビットストリーム特性を修正するように構成され
る場合には、処理セレクタ120は復号ビットストリー
ム・プロセッサ118を識別ユニットとして構成し、修
正ビットストリーム122は復号ビットストリーム11
6と同一となる。圧縮入力ビットストリームのビットス
トリーム特性を修正する例には、ビット率変更、基準バ
ッファ・サイズ変更、量子化テーブルの変更等々が含ま
れる。
【0043】以下、図2および図3を参照しながら、多
層符号化器124に関する記述を行う。多層符号化器の
主な特徴は、多層復号器114によって圧縮入力ビット
ストリームから導出されたビットストリーム・パラメー
タを使用して修正ビットストリーム122を再符号化す
る点にある。多層符号化器のビットストリーム・パラメ
ータを使用することによって、多層符号化器が、ビット
ストリーム・パラメータを新たに生成する場合に比較し
て少ないコンピュータ資源を使用して修正ビットストリ
ームを再符号化することが可能となる。例えば、圧縮入
力ビットストリームから導出された動きベクトルおよび
DCT情報を使用して修正ビットストリームを再符号化
することは、圧縮入力ビットストリームのビットストリ
ーム特性に対して多くの修正を実行するために必要とさ
れる計算処理資源を大幅に減らすことができる。例え
ば、ビット率変換、復号器バッファ・サイズ変更および
ピクチャ・サイズ変更のようなビットストリーム特性の
修正を実行することができる。ビットストリーム特性の
そのような修正が実行される時、圧縮入力ビットストリ
ームから導出されたオリジナルの動きベクトルでも新し
い動きベクトルでもいずれを使用してでも再符号化を実
行することができる。非常に単純なローカル検索のため
の出発点としてオリジナルの動きベクトルを使用して新
しい動きベクトルが生成される。新しい動きベクトルを
生成するために必要とされる付加的計算処理資源を費消
すべきか否かの判断は、動きベクトルの品質と必要な追
加の計算処理資源の間のトレードオフによる。オリジナ
ルの動きベクトルがピクチャ拡大縮小の後修正ビットス
トリームを再符号化するため使用される時、オリジナル
の動きベクトルはピクチャ拡大縮小因子に比例して拡大
縮小されなければならない。
【0044】多層符号化器124は、また、圧縮入力ビ
ットストリーム112のDCT係数に関連する情報をビ
ットストリーム・パラメータとして使用して修正ビット
ストリーム122を再符号化することができる。これ
は、計算処理上の便宜性を与えるとともに、符号化器バ
ッファおよび出力ビット率を制御するために必要とされ
る計算処理資源を減らす。例えば、多層符号化器のDC
Tモジュールは、圧縮入力ビットストリームの各ブロッ
クにおける非ゼロDCT係数の位置を表示しそれによっ
て前方DCTを計算する速度を向上させるビットストリ
ーム・パラメータを使用することができる。DCTモジ
ュールは、ビットストリーム・パラメータによって標示
される非ゼロ位置に関するDCT係数だけを計算すれば
よい。更に、多層符号化器の量子化器は、圧縮入力ビッ
トストリームのDCT係数のビット統計量を示すビット
ストリーム・パラメータを使用して、量子化係数「MQ
UANT」を制御することができる。
【0045】多層符号化器124は、復号ビットストリ
ーム・プロセッサ118によって出力された修正ビット
ストリーム122から圧縮出力ビットストリーム126
を生成する。図2および図3において示される例におい
ては、圧縮出力ビットストリームは、処理選択モジュー
ル120によって定義されるユーザ指定MPEGヘッダ
制約の新しいセットをもつMPEG準拠のビデオ・ビッ
トストリームである。しかしながら、圧縮出力ビットス
トリームのヘッダ情報は、データ層を除くすべての層に
おいて圧縮入力ビットストリーム112のヘッダ情報と
同じものである場合も、異なるものである場合もある。
層は、シーケンス、GOP、ピクチャ、スライス、MB
およびその他いかなる拡張ヘッダ情報をも含む。
【0046】多層符号化器124と復号ビットストリー
ム・プロセッサ118の間の主要な相違を理解すること
は重要である。復号ビットストリーム・プロセッサと相
違して、多層符号化器は、ユーザ指定のヘッダ情報およ
び復号ビットストリーム・プロセッサ118から送られ
た修正ビットストリーム122に基づいて圧縮出力ビッ
トストリーム126を生成することについて責任がある
だけである。多層符号化器は、圧縮出力ビットストリー
ムによって表現されるビデオ信号を変更しない。但し、
例外として、多層符号化器の量子化器は、DCT係数が
圧縮入力ビットストリームにおいて量子化された場合と
相違するようにDCT係数を量子化する場合がある。
【0047】多層符号化器124は、復号ビットストリ
ーム・プロセッサ118から修正ビットストリーム12
2を受け取り、多層復号器114によって圧縮入力ビッ
トストリーム112から導出されたビットストリーム・
パラメータを使用して修正ビットストリームを再符号化
し、その結果圧縮された出力ビットストリーム126を
圧縮ビットストリーム処理装置100の出力として供給
する。ビットストリーム・パラメータは、ビットストリ
ーム・パラメータ送出経路128を経由して多層復号器
から多層符号化器に転送される。多層符号化器は、修正
ビットストリーム圧縮状態によって求められる程度およ
び符号化器制御データによって設定されたビットストリ
ーム特性で圧縮出力ビットストリーム126を生成する
必要性に応じて、修正ビットストリームを再符号化す
る。
【0048】多層符号化器124は、制御経路142を
経由して処理選択ブロック120によって供給される符
号化制御データに従って動作する。符号化制御データ
は、圧縮出力ビットストリーム126に対するヘッダ情
報を含む。符号化制御データは、ユーザによって処理セ
レクタ120に入力される処理選択に依存する。
【0049】従来技術のMPEG符号化器と同様に、多
層符号化器124は、修正ビットストリーム122を符
号化するため共同動作する多数の直列接続符号化モジュ
ールを含む。しかし、従来技術のMPEG符号化器と相
違して、多層符号化器は、部分的に圧縮された状態の修
正ビットストリームを受け取ることができ、符号化制御
データによって定義されたビットストリーム特性を圧縮
出力ビットストリームに与えるために必要とされる度合
いに応じて部分的に圧縮された修正ビットストリームを
符号化するため、一部の符号化モジュールを使用するこ
とができる。
【0050】制御経路142を経由して処理選択モジュ
ール120によって供給された符号化制御データは、多
層符号化器が符号化を開始する符号化モジュールを決定
する。修正ビットストリーム122が圧縮されていない
場合、すなわち、修正ビットストリームが各ピクチャの
各ピクセルに関するピクセル値を持っている従来技術の
ビデオ・ビットストリームである場合、符号化制御デー
タは、すべての符号化モジュールを使用して修正ビット
ストリームを符号化するように多層符号化器を設定す
る。しかしながら、復号ビットストリーム・プロセッサ
118によって処理された復号ビットストリーム116
が、多層復号器114によって部分的に復号されたもの
であれば、修正ビットストリームは部分的に圧縮され、
従って従来技術のビデオ・ビットストリームではない。
この場合、多層符号化器が部分的に圧縮された修正ビッ
トストリームの符号化を完了するために使用することが
できるように、符号化制御データは符号化モジュールの
一部を選択する。例えば、復号ビットストリーム・プロ
セッサ118は、DCT係数のブロックから構成される
復号ビットストリーム116に対してその処理を実行す
るかもしれない。この場合、修正ビットストリーム12
2は、部分的に圧縮されていて、多層符号化器は、空間
ビットストリーム入力モジュール、動き補償器、DCT
モジュールおよびローカル復号器を使用することなく修
正ビットストリームのDCT係数のブロックを処理する
ことによってこの修正ビットストリームを符号化する。
【0051】多層符号化器124を構成する符号化モジ
ュールは、従来技術の符号化器の対応するモジュールに
基づいている。当業者がそのような従来技術の符号化モ
ジュールの構造および動作に精通していると仮定される
ので、符号化モジュールについて以下要点だけを記述す
る。多層符号化器を構成している符号化モジュールは、
空間ビットストリーム入力モジュール313、動き補償
器(MC)311、離散型コサイン変換(DCT)モジュー
ル309、量子化器(QUANT)307、可変長符号化
器(VLC)305、マルチプレクサ(MUX)303、符
号化器バッファ301およびローカル復号器317を含
む。
【0052】上記の符号化モジュールに加えて、多層符
号化器124は、入力セレクタ315、入力バス138
および符号化器ビットストリーム・パラメータ・バス1
40を含む。入力セレクタは、修正ビットストリーム1
22を受け取るため復号ビットストリーム・プロセッサ
118の出力に接続する入力部を持つ。入力セレクタ
は、入力バス138に接続した出力部を持つ。入力バス
は、次に、空間ビットストリーム入力モジュール31
3、動き補償器311、DCTモジュール309、量子
化器307、可変長符号化器305およびマルチプレク
サ303の各々の入力に接続する。入力セレクタは、符
号化制御データを受け取るため制御経路142に接続す
る制御入力部を持つ。符号化制御データに応答して、入
力セレクタは、空間ビットストリーム入力モジュール3
13、動き補償器311、DCTモジュール309、量
子化器307および可変長符号化器305のうちのどれ
が修正ビットストリームを処理する符号化モジュールの
最初のものであるかを決定する。
【0053】次に、入力セレクタは、最初に処理する符
号化モジュールの入力を入力バス138を経由して復号
ビットストリーム・プロセッサ118の出力に接続す
る。例えば、復号ビットストリーム・プロセッサ118
からの修正ビットストリーム122がラスタ走査形式お
よび提示順序の従来技術ビデオ・ビットストリームであ
る場合、入力セレクタ315は、復号ビットストリーム
・プロセッサ118の出力を空間ビットストリーム入力
モジュール313の入力に接続する。そこで、空間ビッ
トストリーム入力モジュールは、多層符号化器の残りの
符号化モジュールによる処理のため符号順にマクロブロ
ックおよびブロックにラスタ走査および提示順序形式の
修正ビットストリームを変換することができる。
【0054】符号化器ビットストリーム・パラメータ・
バス140は、ビットストリーム・パラメータ送出モジ
ュール130の出力部に接続する入力部および符号化モ
ジュール303−313の各々の付加的入力部へ接続す
る出力部を持つ。符号化器ビットストリーム・パラメー
タ・バスに接続した付加的入力によって、符号化モジュ
ールが、多層復号器114によって圧縮入力ビットスト
リームから導出され、ビットストリーム・パラメータ送
出経路128を経由して転送されたビットストリーム・
パラメータを受け取ることが可能となる。
【0055】多層符号化器124において、空間入力ビ
ットストリーム・モジュール313は、ラスタ走査形式
および提示順序の従来技術ビデオ・ビットストリームを
受け取り、多層符号化器の残りの符号化モジュールによ
る処理に適する符号順にマクロブロックおよびブロック
にビデオ・ビットストリームを変換する。空間入力ビッ
トストリーム・モジュールは、その結果であるブロック
形式ビデオ・ビットストリームを動き補償器311に供
給する。
【0056】動き補償器311は、PピクチャまたはB
ピクチャとして符号化される各ピクチャの各マクロブロ
ックに関する動きベクトルを決定する。これらのピクチ
ャは、Iピクチャとして独立して符号化されないピクチ
ャである。各マクロブロックに関する動きベクトルは、
マクロブロックと1つまたは複数の基準ピクチャから選
択される基準ブロックの間のブロック一致演算を実行す
ることによって決定される。基準ピクチャは、通常、量
子化器307によって出力されるビットストリームを復
号するローカル復号器317の結果として取得される再
構造化されたピクチャである。再構築されたピクチャ
は、ローカル復号器の一部を構成するマルチページ・ピ
クチャ・メモリに記憶される。
【0057】従来技術の符号化器においては、動きベク
トルを決定するブロック一致演算は、符号化器によって
実行される演算のうちで最大の計算処理資源を要求す
る。しかしながら、本発明の圧縮ビットストリーム処理
装置100における動きベクトル決定のための計算処理
要件は、多層復号器114によって圧縮入力ビットスト
リーム112から導出されビットストリーム・パラメー
タ送出経路128を経由して多層符号化器に転送される
動きベクトルを再利用することによって、大幅に減少さ
せることができ、場合によっては不要とさえすることが
できる。
【0058】動き補償器311は、その上、Pピクチャ
およびBピクチャとして符号化されるピクチャのブロッ
クを処理して差分ブロックを生成する。この処理に従う
ブロックは、基準ブロックおよび差分ブロックと区別す
るためピクチャ・ブロックと呼ばれる。各ピクチャ・ブ
ロックに関する差分ブロックは、ピクチャ・ブロックと
基準ブロックの間の減算の実行によって取得される。基
準ブロックは、ピクチャ・ブロックの動きベクトルによ
って標示される基準ピクチャのブロックである。
【0059】動き補償器311は、また、DCTモジュ
ール309に符号化ブロックを渡す。ピクチャがIピク
チャとして符号化されるべきものであれば、符号化ブロ
ックはピクチャ・ブロックであり、PピクチャまたはB
ピクチャであれば、差分ブロックである。
【0060】DCTモジュール309は、動き補償器3
11から符号化ブロックを受け取り、離散型コサイン変
換を使用して各符号化ブロックを空間領域から頻度領域
へ直交変換する。DCTモジュールは、処理結果のDC
T係数ブロックを量子化器307に渡す。
【0061】量子化器307は、DCTモジュール30
9からDCT係数のブロックを受け取り、各ブロックに
おけるDCT係数の各々を量子化する。量子化のステッ
プ・サイズは、符号化器バッファ301によって生成さ
れるバッファ占有制御信号(図示されていない)によって
制御される。量子化のステップ・サイズは、符号化器バ
ッファおよび仮説上の標準的ビデオ復号器がオーバフロ
ーもアンダーフローもしないことを保証するように制御
される。その結果として、量子化器は可変長符号化器3
05に量子化されたDCT係数ブロックを渡す。
【0062】可変長符号化器305は、量子化器307
から量子化されたDCT係数ブロックを受け取り、各ブ
ロックにおける量子化されたDCT係数に可変長符号化
を適用する。可変長符号化器は、処理結果の符号化され
た量子化DCT係数ブロックをマルチプレクサ303お
よびローカル復号器317に渡す。
【0063】マルチプレクサ303は、可変長符号化器
305から符号化された量子化DCT係数ブロックを受
け取り、更に、動き補償器311から動きベクトルのよ
うなパラメータを、量子化器307から量子化ステップ
・サイズ情報を、可変長符号化器305からランレング
ス情報をそれぞれ受け取り、それらパラメータを組み合
わせてピクチャ層ビデオ・ビットストリームを生成す
る。マルチプレクサは、処理結果のビデオ・ビットスト
リームを出力バッファ301にピクチャ単位で送り出
す。
【0064】出力バッファ3O1は、マルチプレクサ3
03からビデオ・ビットストリームを受け取り、圧縮さ
れた出力ビットストリームである一定ビット率ビットス
トリーム126を生成する。付加的マルチプレクサ(図
示されていない)が、圧縮ビットストリームを圧縮音声
ビットストリームのような他のビットストリームとイン
ターリーブし、付加ヘッダ情報と共に複合出力ビットス
トリームを生成する場合もある。
【0065】空間ビットストリーム入力モジュール31
3、動き補償器311、DCTモジュール309、量子
化器307および可変長符号化器305は、制御経路1
42を経由して処理選択モジュール120から受け取る
符号化制御データに応答して、選択的に動作する。符号
化制御データは、上記モジュールの各々が実際に動作す
るか否かを決定する。例えば、ユーザが圧縮入力ビット
ストリームに対して空間フィルタリングを実行すること
を望み、復号ビットストリーム・プロセッサがDCT係
数に対するそのようなフィルタリングを実行することが
できる機能を持つとすれば、符号化制御データに応じ
て、量子化器307および可変長符号化器305が起動
し、入力セレクタ315が部分的に圧縮された修正ビッ
トストリーム122を復号ビットストリーム・プロセッ
サ118から量子化器307の入力に接続する。符号化
器制御データは、また、修正ビットストリームを受け取
る符号化モジュールの上流にある符号化モジュールすな
わちDCTモジュール309、動き補償器311、空間
ビットストリーム入力モジュール313およびローカル
復号器317を非活動状態に設定する。使われない符号
化モジュールを非活動状態にすることによって、さもな
ければ使用される計算処理資源を別の目的のため使用す
ることが可能となる。
【0066】注意すべき点ではあるが、本発明に従う圧
縮ビットストリーム処理装置がコンピュータまたはデジ
タル信号プロセッサの形態で実施されている場合、コン
ピュータまたはデジタル信号プロセッサが、入力バス1
38および符号化器ビットストリーム・パラメータ・バ
ス140のようなエレメントを備えていない可能性があ
る。その場合、上記形態に代えて、例えば、入力セレク
タ315は、復号ビットストリーム・プロセッサ118
が修正ビットストリーム122を記憶したアドレスを、
修正ビットストリームを処理する最初の符号化モジュー
ルに通信することも可能である。この符号化モジュール
は,次に、そのアドレスから修正ビットストリームを取
り出す。同様に、ビットストリーム・パラメータ送出モ
ジュール130が、多層復号器114によって圧縮入力
ビットストリーム112から導出されたビットストリー
ム・パラメータが記憶されているアドレスを多層符号化
器124に通信することも可能である。多層符号化器
は、次に、そのアドレスに記憶されているビットストリ
ーム・パラメータを取り出し、修正ビットストリームの
符号化の際に使用することができる。また、注意すべき
点であるが、コンピュータおよびDSPに基づく実施形
態において、符号化モジュールが短命であるかもしれな
いし、装置は修正ビットストリーム122を符号化する
ために使用されない符号化モジュールに対応するエレメ
ントを備えていないこともある。
【0067】次に、多層復号器114によって圧縮入力
ビットストリーム112から導出されるビットストリー
ム・パラメータが使用されるいくつかの形態を以下に記
述する。最初の例では、圧縮入力ビットストリームから
導出されたビットストリーム・パラメータが復号ビット
ストリーム・プロセッサ118に送られ、そこで復号ビ
ットストリーム・プロセッサによって実行される処理を
単純化するため使用される。ビットストリーム・パラメ
ータは、圧縮入力ビットストリームによって表現される
ビデオ信号のカラー特性を標示するカラー・データであ
る。そのようなカラー・データは、デマルチプレクサ2
03によって圧縮入力ビットストリームから導出された
ピクチャ・ヘッダに含められている。デマルチプレクサ
は、ビットストリーム・パラメータ送出経路128を経
由してカラー・データを復号ビットストリーム・プロセ
ッサ118に転送する。復号ビットストリーム・プロセ
ッサは、次に、カラー・データを使用して、色補償を復
号ビットストリーム116に適用する必要があるか否か
を判断する。復号ビットストリーム・プロセッサが色補
償が必要とされると判断すれば、該当するカラー校正方
式を設計するためカラー・データを更に使用する。
【0068】多層復号器114は、復号ビットストリー
ム・プロセッサ118による処理にふさわしい圧縮状態
の復号ビットストリーム116を生成するように圧縮入
力ビットストリーム112を復号する。復号ビットスト
リーム・プロセッサは、次に、圧縮入力ビットストリー
ムから導出されたカラー・データから引き出されるカラ
ー校正方式を使用して復号ビットストリームに色補償を
適用する。多層符号化器124は、次に、復号ビットス
トリーム・プロセッサ118によって生成された修正ビ
ットストリーム122を再符号化して、圧縮出力ビット
ストリーム126を生成する。圧縮出力ビットストリー
ムによって表現されるビデオ信号は、圧縮入力ビットス
トリームによって表現されるビデオ信号に対応してカラ
ー補償されている。修正ビットストリーム122を符号
化するために必要な処理を単純化するため、以下に述べ
るように、多層符号化器が圧縮入力ビットストリーム1
12から導出された付加的ビットストリーム・パラメー
タを使用することもできる。
【0069】上述のように、従来技術のMPEG圧縮に
おいては、符号化プロセスの動き推定演算は最大の計算
処理資源を必要とする。従来技術の動き推定は、多層符
号化器124の動き補償器311の位置に対応する符号
化器内の位置にある動き補償器モジュールを使用して、
実行される。従って、動き推定演算の除去または実質的
な単純化によって、多層符号化器124によって必要と
される計算処理資源の大幅な節約を達成することができ
る。
【0070】多層復号器114によって圧縮入力ビット
ストリーム112から導出されたDCT係数を使用して
ユーザ選択の処理演算を復号ビットストリーム・プロセ
ッサ118が実行することができるならば、動き補償器
311を完全に使用不可状態にすることができる。これ
によって、多層符号化器によって要求される計算処理資
源が大幅に減少する。しかしながら、復号ビットストリ
ーム・プロセッサ118によって実行される処理演算
が、多層復号器が復号ビットストリーム116として従
来技術のビデオ・ビットストリームを作成するため圧縮
入力ビットストリームを全面的に復号することを必要と
する場合は、修正ビットストリーム122は全面的に再
符号化されなければならない従来技術のビデオ・ビット
ストリームである。
【0071】圧縮ビットストリーム処理装置100は、
修正ビットストリームが従来技術のビデオ・ビットスト
リームである時修正ビットストリームを再符号化するた
めに必要とされる計算処理資源を減少させる多数の方法
を提供する。ビットストリーム・パラメータ送出経路1
28は、圧縮入力ビットストリーム112から導出され
た動きベクトルを多層符号化器124へ転送する。多層
符号化器は、次に、動き補償器311によって実行され
る動き補償演算における動きベクトルとしてこれら動き
ベクトルを使用することができる。これによって、動き
推定演算が実行されないので、多層符号化器124によ
って必要とされる計算処理資源は顕著に減少する。圧縮
入力ビットストリームから導出された動きベクトルの再
使用によって、多層符号化器における動き推定の性能は
圧縮入力ビットストリームを符号化するため元々使用さ
れた場合より向上することはないという制約を受ける。
しかし、これは通常重要な欠点ではない。なぜならば、
大部分のハードウェアまたはソフトウェア符号化器が実
用的ではあるが効率的な動き推定アルゴリズムを用いて
いるからである。
【0072】圧縮入力ビットストリーム112から導出
された動きベクトルの単なる再使用が許容可能な動き推
定精度を生み出すが、圧縮入力ビットストリームから導
出された動きベクトルを完全なピクセル動きベクトルと
して使用し、完全なピクセル動きベクトルに対して追加
の2分の1ピクセル検索を実行して最終的動き推定を行
うことによって、一層良好な動き推定精度を得ることが
可能である。この代替的方法は、オリジナルの圧縮入力
ビットストリームから導出された動きベクトルを再使用
する場合より多い計算処理資源を必要とする。しかし、
これは比較的良好なピクチャ品質および高い圧縮効率を
生み出す。更に、動き推定検索の範囲が従来技術の動き
推定において使用される場合より大幅に小さいので、従
来技術の動き推定の場合に比較して、必要とされる付加
的計算処理資源は実質的に少ない。
【0073】ローカル動き推定を実行する動き補償器3
11の構造の例が図4に示されている。動き補償器はロ
ーカル動き推定器441および減算器443を含む。ロ
ーカル動き推定器は、空間ビットストリーム入力モジュ
ール313、符号化器ビットストリーム・パラメータ・
バス140およびローカル復号器317の出力に接続す
る入力部を持つ。ローカル動き推定器は、ローカル復号
器における再構築ピクチャ・メモリ445、符号化器ビ
ットストリーム・パラメータ・バスおよび減算器443
の2つの入力に接続する出力部を持つ。
【0074】ローカル動き推定器441は、空間ビット
ストリーム入力モジュール313から連続したピクチャ
・ブロックを受け取りそれらの各々に対して動き推定演
算を実行する。現在の動き推定演算の対象であるピクチ
ャ・ブロックは、現在時ピクチャ・ブロックと呼ばれ
る。ローカル動き推定器は、また、符号化器ビットスト
リーム・パラメータ・バス140から現在時ピクチャ・
ブロックに関する動きベクトルを受け取る。この動きベ
クトルは、ビットストリーム・パラメータとして圧縮入
力ビットストリーム112から導出され、ビットストリ
ーム・パラメータ送出経路128を経由して転送された
ものである(図2)。ローカル動き推定器は、転送された
動きベクトルから現在時ピクチャ・ブロックに関するア
ドレスを引き出し、このアドレスをローカル復号器31
7のピクチャ・メモリ445へ送る。それに応答して、
ピクチャ・メモリは、スーパー基準ブロックをローカル
動き推定器に送り返す。スーパー基準ブロックは、アド
レスによって指定されたピクチャ・メモリの位置に記憶
されている再構築ピクチャ・ブロックであり、従来技術
ピクチャ・ブロックより水平および垂直の両方向におい
て2ピクセル分大きい。このようにスーパー基準ブロッ
クのサイズが大きいことによって、2分の1ピクセル精
度の一致ブロックをスーパー基準ブロックから生成する
ことが可能とされる。
【0075】ローカル動き推定器441は、スーパー基
準ブロックにおける隣接ピクセル値間の補間演算を実行
して、8個の8×8ピクセル一致ブロック・セットを生
成する。各一致ブロックは、スーパー基準ブロックの中
心に対して北、北東、東、南東、南、南西、西,および
北西という方向のうちの異なる1方向にスーパー基準ブ
ロックにおける隣接ピクセル間の距離の半分に等しい距
離だけずらして配置される。ローカル動き推定器は、ま
た、10×10ピクセルのスーパー基準ブロックの中心
にある8×8ピクセル・ピクチャ・ブロックの大きさの
サブセットを選択することによって9番目の一致ブロッ
クを生成する。
【0076】次に、ローカル動き推定器441は、現在
時ピクチャ・ブロックおよび9つの一致ブロックの間の
ブロック一致演算を実行して、どの一致ブロックが現在
時ピクチャ・ブロックに最も近接しているかを判断す
る。この一致ブロックは、最近接一致ブロックと呼ばれ
る。ローカル動き推定器は、転送された動きベクトルに
関する最近接一致ブロックの変位を転送された動きベク
トルに加算して、現在時ピクチャ・ベクトルに関して2
分の1ピクセル精度を持つ新しい動きベクトルを生成す
る。ローカル動き推定器は、また、現在時ピクチャ・ブ
ロックに関する基準ブロックとして最近接一致ブロック
を採用する。
【0077】ローカル動き推定器441は、2分の1ピ
クセル精度の新しい動きベクトルを符号化器バッファ3
01への送信のため符号化器ビットストリーム・パラメ
ータ・バス140へ供給し、現在時ピクチャ・ブロック
およびその基準ブロックを減算器443の入力に供給す
る。減算器443は、現在時ピクチャ・ブロックから基
準ブロックをピクセル毎に減算し、結果の差分ブロック
をDCTモジュール409へ供給する。
【0078】圧縮入力ビットストリーム112から導出
されたビットストリーム・パラメータを使用することに
よって、多層符号化器124によって実行されるビット
率制御の計算処理要件を減少することが可能である。ビ
ット率制御は、良好なビデオ品質を達成する上で重要な
役割を演ずるし、圧縮出力ビットストリーム126が実
用的復号器によってリアル・タイムで復号されることが
できることを確実にすることに役立つ。ビット率制御
は、各ピクチャを符号化するために割り当てられるビッ
トの数を制御する。各ピクチャを符号化するために割り
当てられるビットの数は、許容可能な提示品質を達成す
る上で十分な数の量子化レベルでピクチャのすべてのD
CT係数を量子化しなければならないだけではなく、M
PEGによって定義されているバッファ・オーバフロー
およびアンダーフロー制約を満たさなければならない。
【0079】圧縮入力ビットストリーム112は、各マ
クロブロックの特性を標示するビットストリーム・パラ
メータを含む。多層復号器114は、圧縮入力ビットス
トリームからそのようなビットストリーム・パラメータ
を導出して、それらを多層符号化器124に渡し、そこ
で、ビットストリーム・パラメータは適応的ビット割り
当てを実行する場合に役立つように再使用される。2つ
の異なるアプローチの各マクロブロックのDCT係数に
ビットを再割り当てする2つの異なるアプローチの例を
図3、図5および図6を参照して以下に記述する。
【0080】図5に示されている第1のアプローチにお
いて、多層復号器114は、圧縮入力ビットストリーム
112から量子化ステップ・サイズinMQUANT[k]を導出
する。量子化ステップ・サイズinMQUANT[k]は、圧縮入
力ビットストリームにおける現在時マクロブロックkの
量子化ステップ・サイズである。多層復号器は、量子化
ステップ・サイズをビットストリーム・パラメータとし
て多層符号化器に渡す。量子化ステップ・サイズは逆量
子化器207にも渡され、この量子化ステップ・サイズ
を使用して現在時マクロブロックのDCT係数に対する
逆量子化演算が実行される。次に、多層符号化器124
において、量子化器307が、現在時マクロブロックの
DCT係数を量子化するため新しい量子化ステップ・サ
イズMQUANT[k]を計算し、新しい量子化ステップ・サイ
ズを持つ現在時マクロブロックのDCT係数を再量子化
する。量子化器は、現在時マクロブロックのため圧縮入
力ビットストリームから送られた量子化ステップ・サイ
ズを使用して新しい量子化ステップ・サイズMQUANT[k]
を計算する。
【0081】図6に示される第2のアプローチでは、現
在時マクロブロックに関する量子化されたDCT係数
が、逆可変長符号化器205によって圧縮入力ビットス
トリームから導出され、ビットストリーム・パラメータ
送出経路128を経由して多層復号器114から多層符
号化器124の量子化器307に転送される。また、現
時マクロブロックにおける非ゼロDCT係数の数を標示
するビットストリーム・パラメータmbincoeff[k]が圧縮
入力ビットストリームから導出され、多層復号器から多
層符号化器の量子化器へ転送される。次に、ビットスト
リーム・パラメータmbincoeff[k]を使用して、量子化器
は、圧縮出力ビットストリームが上述したバッファ制約
に合致するように選択された非ゼロ量子化DCT係数に
対するゼロ化演算を実行する。
【0082】第2のアプローチにおける選択された非ゼ
ロ量子化DCT係数のゼロ化は、逆量子化および再量子
化が実行されないので、第1のアプローチに比較して必
要なコンピュータ資源が少ない。しかしながら、第1の
アプローチは、通常、より良好な提示品質を提供する。
【0083】圧縮入力ビットストリームから導出された
ビットストリーム・パラメータを使用して、圧縮出力ビ
ットストリームのビット率の制御に役立つように圧縮入
力ビットストリームのビット割り当てを適応させること
によって第1のアプローチに必要な計算処理資源を減少
させることができる。第1のアプローチで実行される処
理ステップが図5に示されている。以下の記述におい
て、現在時量子化演算の対象であるDCT係数のブロッ
クは、現在時ブロックと呼ばれ、現在時ブロックが一部
を形成するピクチャは現在時ピクチャと呼ばれる。
【0084】符号化の始めに、ステップS1およびステ
ップS2が実行される。ステップS1において、多層復
号器114は、圧縮入力ビットストリーム112からビ
ットストリーム・パラメータRinを導出し、このビット
ストリーム・パラメータをビットストリーム・パラメー
タ送出経路128を経由して量子化器307へ転送す
る。ビットストリーム・パラメータRinは、圧縮入力ビ
ットストリームのビット率を示す。ステップS2におい
て、多層符号化器124における量子化器307は、符
号化器ビットストリーム・パラメータ・バス140から
ビットストリーム・パラメータRinを受け取り、処理選
択モジュール120からパラメータRoutを受け取る。量
子化器は、次に、RoutをRinで除算することによってビ
ット率bitsr atio0を決定する。
【0085】ステップS3において、逆可変長符号化器
203は、圧縮入力ビット・ストリーム112における
各マクロブロックからビットストリーム・パラメータin
MQUANT[k]を導出する。圧縮入力ビット・ストリーム1
12の現在時マクロブロックkのビットストリーム・パ
ラメータinMQUANT[k]は、現在時のマクロブロックkのD
CT係数を量子化するために使用された量子化ステップ
・サイズを標示する。逆可変長符号化器203は、ビッ
トストリーム・パラメータinMQUANT[k]を多層符号化器
124の量子化器307に転送する。
【0086】ステップS4において、逆可変長符号化器
203は、現在時マクロブロックkのDCT係数に先立
ち現在時ピクチャのDCT係数を表現するために使用さ
れた圧縮入力ビットストリームのビット数をカウントす
ることによって、現在時マクロブロックkに関するビッ
トストリーム・パラメータinbits[k]を導出する。逆可
変長符号化器は、多層符号化器124の量子化器124
へビットストリーム・パラメータinbits[k]を転送す
る。
【0087】ステップS5−S8において、多層符号化
器124の量子化器307は、多層復号器114によっ
て転送されたビットストリーム・パラメータを使用し
て、圧縮出力ビットストリーム126のビット率が上述
のバッファ制約に満たすことができる量子化ステップ・
サイズで現在時マクロブロックにおけるDCT係数を量
子化する。可変長符号化器305は、現在時マクロブロ
ックkのDCT係数に先立ち現在時ピクチャのDCT係
数を表現するために使用される圧縮出力ビットストリー
ムのビット数outbits[k]をカウントするカウンタを含
む。可変長符号化器は、outbits[k]の各値を量子化器に
送り戻す。最後に、量子化器は制御経路142を経由し
て符号化制御データを受け取る。
【0088】ステップS5において、量子化器は、outb
its[k]とinbits[k]の間の比率bitsratio[k]を bitsratio[k] = outbits[k]/inbits[k] によって決定する。
【0089】ステップS6において、量子化器307は
現在時マクロブロックkに関する変換因子f[k]を決定す
る。量子化器は、次の式を使用して、比率bitsratio[k]
およびbitsratio0から変換因子f[k]を計算する。 f(k)=(2 x butsratio[k] + bitsratio0)/(bitsratio[k]
+ 2 x bitsratio0) 但し0.7<f[k]<1.3である。
【0090】ステップS7において、量子化器307
は、現在時マクロブロックkに関するMQUANT[k]の値を計
算する。MQUANT[k]の値は、量子化器が現在時マクロブ
ロックkに関するDCT係数を量子化するために使用す
る量子化ステップ・サイズである。量子化器は、ビット
ストリーム・パラメータinMQUANT[k]の値に変換因子f
[k]を乗算することによって現在時マクロブロックkに関
するMQUANT[k]の値を計算する。この計算式は次のよう
になる。 MQUANT[k] = inMQUANT[k] x f[k] ステップS8において、量子化器307は、量子化ステ
ップ・サイズMQUANT[k]を使用して現在時マクロブロッ
クkにおけるすべての非ゼロDCT係数を量子化する。
【0091】ステップS9において、量子化器は現在時
ビットストリームのすべてのマクロブロックが量子化さ
れたか否か判断する。もしそうであれば、処理はステッ
プS10へ進み、そこで終了する。そうでなければ、処
理はステップS3に戻り、次のマクロブロックkに関し
て比率bitsratio[k]、変換因子f[k]および量子化ステッ
プ・サイズMQUANT[k]を計算するプロセス、および、量
子化ステップ・サイズMQUANT[k]を使用して次のマクロ
ブロックのDCT係数を量子化するステップが、ピクチ
ャの符号化が完了するまで、そして、すべての圧縮入力
ビットストリームが処理されるまで、反復される。
【0092】第2のアプローチに関しても、圧縮入力ビ
ットストリームから導出されたビットストリーム・パラ
メータを使用して、圧縮出力ビットストリームのビット
率の制御に役立つように圧縮入力ビットストリームのビ
ット割り当てを適応させることによって必要な計算処理
資源を減少させることができる。第2のアプローチで実
行される処理ステップが図6に示されている。ステップ
S1、S2、S4−S6およびS9は、図5を参照した
上述の第1のアプローチの場合と同じであるので、以下
の記述では省略する。
【0093】ステップS3において、多層復号器114
は、圧縮入力ビットストリーム112の各マクロブロッ
クからビットストリーム・パラメータmbincoeff[k]を導
出し、このビットストリーム・パラメータをビットスト
リーム・パラメータ送出経路128を経由して多層符号
化器124の量子化器307へ転送する。ビットストリ
ーム・パラメータmbincoeff[k]は、圧縮入力ビットスト
リームの現在時マクロブロックkにおける非ゼロDCT
係数の数を標示する。
【0094】ステップS5Aにおいて、多層復号器11
4は、逆可変長符号化器205によって圧縮入力ビット
ストリーム112から導出された量子化DCT係数を、
ビットストリーム・パラメータ送出経路128を経由し
て量子化器307に転送する。
【0095】ステップS7において、多層符号化器12
4の量子化器307は、多層復号器から量子化DCT係
数を受け取り、ビットストリーム・パラメータmb
incoeff[k]を使用して、圧縮出力ビットストリームのビ
ット率を制御するためゼロに設定される量子化DCT係
数の数を決定する。量子化器は、現在時マクロブロック
kに関するmboutcoeff[k]の値を計算する。mb
outcoeff[k]の値は、非ゼロの値を持つ可能性のあるマ
クロブロックkにおけるDCT係数の数である。現在時
マクロブロックkに関するmboutcoeff[k]の値を計算する
ため、量子化器は、ビットストリーム・パラメータmb
incoeff[k]の値にステップ6で計算された変換因子f[k]
を乗算する。従って、計算式は次のようになる。 mboutcoeff[k] = mbincoeff[k] x f[k] ステップS8において、量子化器307は逆可変長符号
化器205から現在時マクロブロックkのすべての量子
化DCT係数を受け取り、mboutcoeff[k]の値によって
示された数を除くすべてをゼロにセットする。
【0096】上述の実施形態において、圧縮入力信号お
よび圧縮出力信号は、共に、MPEG準拠ビットストリ
ームであった。次に、本発明に従う圧縮ビットストリー
ム処理装置の第2の実施形態700の例を図7および図
8を参照しながら記述する。この実施形態は、いかなる
圧縮状態の圧縮入力ビットストリームに対しても処理を
実行し、いかなる圧縮状態の圧縮出力ビットストリーム
をも生成し、各々が異なる圧縮状態を持つ複数のビット
ストリームに対して処理を行い、それらを連結すること
を可能にする。以下に記述する例では、圧縮ビットスト
リーム処理装置は、ビデオ信号を表現する圧縮入力ビッ
トストリームを処理する。
【0097】圧縮ビットストリーム処理装置700は、
第1の圧縮状態変換ユニット714A、最終圧縮状態変
換ユニット724、プロセッサ718A、および、ビッ
トストリーム・パラメータ送出モジュール730を含む
ビットストリーム・パラメータ送出経路728という4
つの基本ユニットから構成される。圧縮ビットストリー
ム処理装置がユーザによる処理演算の選択または定義を
許容するように設計されるとすれば、該装置は、ユーザ
から命令を受け取り、圧縮状態変換ユニットおよびプロ
セッサによって実行される処理を制御する処理選択モジ
ュール720を更に含む。ユーザから命令を受け取らな
い場合、処理選択モジュールは、圧縮ビットストリーム
処理装置が圧縮入力ビットストリームに対してあらかじ
め定められた処理演算を実行するように、圧縮状態変換
ユニットおよびプロセッサによって実行される処理を制
御する。
【0098】図7で示される例は、圧縮状態変換ユニッ
ト714Bおよび第2のプロセッサ718Bという2つ
のオプションの付加装置を含む。これらの付加装置は、
圧縮ビットストリーム装置700に、圧縮入力ビットス
トリームによって表現されるビデオ信号を2つの異なる
方法で処理する能力を付与する。それらは、第1のプロ
セッサ718Aによって実行される方法と第2のプロセ
ッサ718Bによって実行される方法の2つである。圧
縮状態変換ユニット714Bは、オプションの第2のプ
ロセッサ718Bに先行して配置され、これら2つのユ
ニットは、第1のプロセッサ718Aと最終圧縮状態変
換ユニット724の間に配置される。また、圧縮状態変
換ユニット714Bおよび第2のプロセッサは、ビット
ストリーム・パラメータ送出経路728に接続して、処
理選択ユニット720によって制御される。
【0099】圧縮状態変換ユニット714Bを第2のプ
ロセッサ718Bに先行して配置することによって、第
2のプロセッサが、第1のプロセッサによって出力され
たビットストリームと異なる圧縮状態を持つビットスト
リームに対する処理を行うことが可能とされる。オプシ
ョンとして、各々圧縮状態変換ユニットの後段に配置さ
れる複数の付加プロセッサを第1のプロセッサと最終圧
縮状態変換ユニットの間に配置することも可能である。
【0100】図7に示される例において、圧縮入力ビッ
トストリーム712によって表現されるビデオ信号は2
つの異なる処理演算に従う。1つは第1のプロセッサ7
18Aによって実行され、もう一方は第2のプロセッサ
718Bによって実行される演算である。第1のプロセ
ッサの前に圧縮状態変換ユニット714Aが配置され
る。圧縮状態変換ユニット714Aは、圧縮入力ビット
ストリームの圧縮状態を変更して、第1のプロセッサに
よって要求される圧縮状態の出力ビットストリーム71
6Aを生成する。第1の圧縮状態変換ユニットによっ
て、圧縮入力ビットストリーム712は、第1のプロセ
ッサによって要求されるものとは異なる圧縮状態を持つ
ことができる。
【0101】第1のプロセッサ718Aは、圧縮状態変
換ユニット714Aによって生成された出力ビットスト
リーム716Aを処理して、修正ビットストリーム72
2Aを生成する。第1のプロセッサは、出力ビットスト
リーム716Aによって表現されたビデオ信号を修正す
るが、出力ビットストリームの圧縮状態は変更しない。
従って、修正されたビットストリーム722Aの圧縮状
態は、出力ビットストリーム716Aのそれと同じもの
である。オプションとして、すべてが同じ圧縮状態のビ
ットストリームに対して動作する複数の連結されたプロ
セッサを第1のプロセッサ714Aが含むこともでき
る。
【0102】第2のプロセッサ718Bに先行して配置
される圧縮状態変換ユニット714Bは、修正ビットス
トリーム722Aの圧縮状態を変更して、第2のプロセ
ッサによって要求される圧縮状態の出力ビットストリー
ム716Bを生成する。圧縮状態変換ユニット714B
によって、第1のプロセッサ718Aと第2のプロセッ
サは、両者が異なる圧縮状態の入力ビットストリームに
対して動作するとはいえ、相互に連結される。
【0103】第2のプロセッサ718Bは、圧縮状態変
換ユニット714Bによって生成された出力ビットスト
リーム716Bを処理して、修正ビットストリーム72
2Bを生成する。第2のプロセッサは、出力ビットスト
リーム716Bによって表現されるビデオ信号を修正す
るが、出力ビットストリームの圧縮状態は変更しない。
従って、修正ビットストリーム722Bの圧縮状態は、
出力ビットストリーム716Bのそれと同じものであ
る。オプションとして、すべてが同じ圧縮状態のビット
ストリームに対して動作する複数の連結されたプロセッ
サを第2のプロセッサは含むこともできる。
【0104】第2のプロセッサ718Bの後に、最終圧
縮状態変換ユニット724が続き、修正ビットストリー
ム722Bの圧縮状態を変更して、圧縮出力信号726
を生成する。これによって、圧縮ビットストリーム処理
装置700が、所望の圧縮状態の圧縮された出力信号を
送達することが可能とされる。最終圧縮状態変換ユニッ
トは、また、修正ビットストリームのビット率、バッフ
ァ・サイズ等のビットストリーム特性を変更して、所望
のビットストリーム特性を持つ圧縮出力ビットストリー
ムを生成するこもできる。圧縮出力信号の状態およびビ
ットストリーム特性は、圧縮入力ビットストリーム71
2のそれと同じとすることも、異なるものとすることも
できる。
【0105】図8は、図7に示された実施形態の圧縮状
態変換ユニット714A、714Bおよび724と同じ
構造および同じ動作を持つ圧縮状態変換ユニット714
の詳細を示す。圧縮状態変換ユニット714は、第1の
圧縮状態の入力ビットストリーム712を受け取り、入
力ビットストリームの圧縮状態を選択的に変更して、入
力ビットストリームと異なる圧縮状態を持つ出力ビット
ストリーム716を生成する。出力ビットストリームの
圧縮状態は、入力ビットストリームのそれより大きくも
小さくもすることができる。すなわち、圧縮状態変換ユ
ニット714は、制御経路732を経由して受け取る制
御データに応じて符号化モードまたは復号モードのいず
れでも動作することができる。
【0106】圧縮状態変換ユニット714は、入力イン
タフェース719、出力インタフェース721および多
層符号化/復号モジュール723という3つの主なモジ
ュールから構成される。多層符号化/復号モジュール
は、圧縮入力ビットストリームの各圧縮状態に対応する
符号化/復号モジュールから成る。この例において、多
層符号化/復号モジュールは、可変長符号化/復号モジ
ュール705、量子化/逆量子化モジュール707、直
交変換モジュール709および動き補償/空間処理モジ
ュール711である。
【0107】入力インタフェース・モジュール719
は、入力ビットストリーム712からビットストリーム
・パラメータを導出するバッファリングおよびデマルチ
プレキング・エレメント(図示されていない)を含む。入
力インタフェース・モジュールは、ビットストリーム・
パラメータを要求する多層符号化/復号モジュール72
3のエレメントへ入力バス738を経由してビットスト
リーム・パラメータを選択的に供給する。入力バスによ
って、入力インタフェース・モジュールが符号化/復号
モジュールのいずれかのエレメントへビットストリーム
・パラメータを供給することが可能にされる。制御経路
732を経由して受け取られる制御データは、符号化/
復号モジュールのうちのどれが入力バスからビットスト
リーム・パラメータを受け取るかを決定する。
【0108】入力インタフェース・モジュール719
は、また、ビットストリーム・パラメータ送出経路72
8を経由してプロセッサ718Aおよび718Bならび
にその他の圧縮状態変換ユニットへの転送のためビット
ストリーム・パラメータ送出バス736にビットストリ
ーム・パラメータを供給する。制御経路732を経由し
て受け取られる制御データは、ビットストリーム・パラ
メータのどれがビットストリーム・パラメータ送出バス
736に供給されるかを決定する。
【0109】多層符号化/復号モジュール723によっ
て生成されるビットストリームはデータ出力バス725
に供給される。これらのビットストリームは、ピクセル
値、動きベクトル、符号化された量子化DTC係数のよ
うなデータ・エレメントから成る。データ出力バスは、
これらビットストリームを、より高位またはより低位の
符号化/復号モジュールへ、また、出力インタフェース
・モジュール721へ、転送する。
【0110】出力インタフェース・モジュール721
は、1つまたは複数の多層符号化/復号モジュール72
3によって生成されたビットストリームから出力ビット
ストリーム716を構築するマルチプレキングおよびバ
ッファーリング・エレメント(図示されていない)を含
む。出力インタフェース・モジュールは、出力ビットス
トリームに含めるため、符号化/復号モジュールのいず
れかによって出力されるビットストリームを選択するこ
とができる。出力インタフェース・モジュールは、制御
経路732を経由して受け取られる制御データに応じ
て、符号化/復号モジュールを選択して、出力ビットス
トリームに含めるビットストリームを受け取る。
【0111】多層符号化/復号モジュール723は、す
べて、二重機能モジュールである。モジュールの各々
は、制御経路732を経由して受け取られる制御データ
に応じて、符号化モードでもあるいは復号モードでも動
作することができる。例えば、制御データが直交変換モ
ジュール709を符号化モードに設定する時、このモジ
ュールは、前方および反転離散コサイン変換を実行す
る。この場合、反転離散コサイン変換は、符号化器のロ
ーカル復号機能部分を提供するために必要とされる。制
御データが直交変換モジュールを復号モードに設定する
時、このモジュールは反転離散コサイン変換のみを実行
する。
【0112】制御経路732を経由して受け取られる制
御データは、また、圧縮状態変換ユニットにその所望の
圧縮状態変換特性を提供するために必要とされる符号化
/復号モジュールを選択する。制御データは、入力およ
び出力ビットストリームの圧縮状態に従って、符号化/
復号モジュールのすべたまたは符号化/復号モジュール
のサブセットを選択する。
【0113】コンピュータまたはDSPに基づく圧縮ビ
ットストリーム処理装置においては、制御経路732を
経由して受け取られる制御データは、多層符号化/復号
モジュール723の各々に対する計算処理資源の割当て
を決定する。圧縮状態変換ユニットは、多層符号化/復
号モジュールのサブセットを使用して部分的な符号化ま
たは復号演算を実行する。この場合、通常、残っている
未使用の符号化/復号モジュールに計算処理資源は割り
当てられない。
【0114】符号化/復号モジュール723の各々は、
入力インタフェース・モジュール719か、あるいは、
少なくとも1つ高位または低位の層にある符号化/復号
モジュールのいずれかによって出力されたビットストリ
ームに対して処理を行う。符号化/復号モジュールの各
々は、出力インタフェース・モジュール721へ、ある
いは少なくとも1つ高位または低位の層にある符号化/
復号モジュールへ、ビットストリームを出力する。符号
化/復号モジュールの間のビットストリーム経路、およ
び、入出力インタフェース・モジュール719、721
と符号化/復号モジュールの間のビットストリーム経路
は、制御経路732を経由して受け取られる制御データ
によって決定される。高位または低位の層にある符号化
/復号モジュールへビットストリームが出力されるか否
かは、圧縮状態変換ユニットが符号化モードで動作して
いるか復号モードで動作しているかに依存する。
【0115】加えて、多層符号化/復号モジュール72
3は、ビットストリーム・パラメータ送出経路728を
経由して受け取られるビットストリーム・パラメータを
使用して動作することもでき、また、多層符号化/復号
モジュールは、圧縮入力ビットストリームからビットス
トリーム・パラメータを代替的にあるいは付加的に導出
して、ビットストリーム・パラメータ送出経路728を
経由してそのようなビットストリーム・パラメータを他
の圧縮状態変換ユニットおよびプロセッサに転送するこ
ともできる。
【0116】圧縮状態変換ユニットの第1の実際的例を
以下に記述する。この例では、圧縮状態変換ユニット
は、圧縮ビットストリーム処理装置の第1の圧縮状態変
換ユニット714Aであり、第1のプロセッサ718A
がDCT係数から成る部分的に圧縮されたビットストリ
ームに対して処理を行う。この例では、第1の圧縮状態
変換ユニットの入力ビットストリーム712はMPEG
ビットストリームであり、第1の圧縮状態変換ユニット
は、第1のプロセッサによって必要とされる圧縮状態に
MPEGビットストリームを復号するように動作する。
【0117】制御経路732を経由して受け取られる制
御データが圧縮状態変換ユニット714Aを以下のよう
に動作させる。すなわち、可変長符号化/復号モジュー
ル705が可変長復号モードで動作し、量子化/逆量子
化モジュール707が逆量子化モードで動作し、残りの
符号化/復号モジュールは使用不可状態とされる。使用
不可状態の符号/復号モジュールに計算処理資源は割り
当てられない。
【0118】入力インタフェース・モジュール719が
入力ビットストリーム712から符号化された量子化D
CT係数、量子化テーブル、動きベクトル、ピクチャ・
ヘッダおよびその他のビットストリーム・パラメータを
導出する。入力バス738を使用して、入力インタフェ
ース・モジュールは、可変長復号モジュール705にD
CT係数を供給し、逆量子化モジュール707に量子化
テーブルを供給し、出力インタフェース・モジュール7
21に動きベクトルおよびピクチャ・ヘッダを供給す
る。入力インタフェース・モジュールは、また、ビット
ストリーム・パラメータ送出バス736を使用して、入
力ビットストリームから導出された量子化テーブル、動
きベクトル、ピクチャ・ヘッダおよびその他のビットス
トリーム・パラメータをビットストリーム・パラメータ
送出経路728および出力インタフェース・モジュール
721に供給する。
【0119】出力インタフェース・モジュール721
は、出力バス725を経由して、逆量子化モジュール7
07によって出力されるDCT係数のビットストリーム
を受け取る。出力インタフェース・モジュールは、ビッ
トストリーム・パラメータ送出バス736を経由して、
それぞれのピクチャ・ヘッダおよび動きベクトルからな
るビットストリームを入力インタフェース・モジュール
719から受け取る。出力インタフェース・モジュール
は、DCT係数およびそれぞれのピクチャ・ヘッダおよ
び動きベクトルから出力ビットストリーム716を作り
上げる。
【0120】第1の圧縮状態変換ユニット714Aによ
って入力ビットストリーム712から導出されたビット
ストリーム・パラメータが、圧縮状態変換ユニット71
4Aによって生成された出力ビットストリームの処理に
おける使用のためビットストリーム送出経路728を経
由して第1および第2のプロセッサ718Aおよび71
8Bへ転送される。また、ビットストリーム・パラメー
タは、ビットストリーム送出経路728を経由して、第
1および第2のプロセッサによって生成される修正ビッ
トストリームを再符号化する場合の使用に備えて圧縮状
態変換ユニット714Bおよび724に転送される。
【0121】圧縮状態変換ユニットの第2の実際的例を
以下に記述する。この例では、圧縮状態変換ユニット
は、第1の例と同様に、圧縮ビットストリーム処理装置
700の第1の圧縮状態変換ユニット714Aであり、
第1のプロセッサ718AはDCT係数から成る部分的
に圧縮されたビットストリームに対する処理を行う。こ
の第2の例では、入力ビットストリーム712は、符号
順のピクチャから構成される部分的に圧縮されたビット
ストリームであり、各ピクチャは符号化ブロック・セッ
トである。ピクチャがIピクチャである場合符号化ブロ
ックは各ピクセルに関するピクセル値から成るピクチャ
・ブロックであり、ピクチャがPまたはBピクチャであ
れば各ピクセルに関する差分の値からなる差分ブロック
である。後者の場合、各符号化ブロックはそれぞれの動
きベクトルを持つ。圧縮状態変換ユニット714Aは、
部分的に圧縮されている入力ビットストリームを符号化
して第1のプロセッサによって必要とされる圧縮状態に
入力ビットストリームの圧縮状態を変更するように動作
する。
【0122】制御経路732を経由して受け取られる制
御データが圧縮状態変換ユニット714Aを以下のよう
に動作させる。すなわち、直交変換モジュール709が
前方変換モードで動作し、残りの符号化/復号モジュー
ルは使用不可状態にされる。使用不可状態の符号化/復
号モジュールには計算処理資源は割り当てられない。
【0123】入力インタフェース・モジュール719
は、入力ビットストリームから符号化ブロック、動きベ
クトルおよびその他のビットストリーム・パラメータを
導出する。入力バス725を使用して、入力インタフェ
ース・モジュールは直交変換モジュール709に符号化
ブロックを供給する。入力インタフェース・モジュール
は、また、入力ビットストリームから導出された動きベ
クトルおよびその他のビットストリーム・パラメータ
を、ビットストリーム・パラメータ送出経路728およ
び出力インタフェース・モジュール721への送出のた
め、ビットストリーム・パラメータ送出バス736へ供
給する。
【0124】出力インタフェース・モジュール721
は、直交変換モジュール709によって出力されたDC
T係数のビットストリームを出力バス725経由で受け
取る。出力インタフェース・モジュールは、また、入力
インタフェース・モジュール719から、ビットストリ
ーム・パラメータ送出バスを経由して、DCT係数に関
するそれぞれの動きベクトルからなるビットストリーム
を受け取る。出力インタフェース・モジュールは、DC
T係数およびそれぞれの動きベクトルから出力ビットス
トリーム716を作り上げる。
【0125】この第2の例の場合も、第1の圧縮状態変
換ユニット714Aによって入力ビットストリーム71
2から導出されたビットストリーム・パラメータが、圧
縮状態変換ユニット714Aによって生成される出力ビ
ットストリームの処理における使用のため、ビットスト
リーム送出経路728を経由して、第1および第2のプ
ロセッサへ転送される。ビットストリーム・パラメータ
は、また、第1および第2のプロセッサによって生成さ
れる修正ビットストリームの圧縮状態を変更する際の使
用に備えて、ビットストリーム送出経路728を経由し
て、圧縮状態変換ユニット714Bおよび724へも転
送される。
【0126】上記2つの例において、第1の圧縮状態変
換ユニット714Aからのビットストリーム・パラメー
タの転送は、圧縮状態変換ユニット714Aによって転
送されるビットストリーム・パラメータに等しい新しい
ビットストリーム・パラメータを生成するためさもなけ
れば必要とされる圧縮状態変換ユニット714Bおよび
724の計算処理資源の費消を防ぐ。従って、本発明に
従う圧縮ビットストリーム処理装置700は、従来技術
の圧縮情報信号処理装置に比較して、より小規模のハー
ドウェアあるいは性能の低いコンピュータまたはデジタ
ル信号プロセッサを使用して圧縮入力ビットストリーム
の所望の処理を実行することができる。代替的には、従
来技術の処理装置に比較して、本発明の圧縮ビットスト
リーム処理装置700は、所与のハードウェアまたは所
与のコンピュータを使用して、一層高速に例えばリアル
タイムより高速に所望の処理を実行することができる。
【0127】以上特定の実施形態を用いて本発明の詳細
を記述したが、本発明が上記実施形態に限定されるもの
ではなく、本発明の原理を逸脱することなく種々の修正
を加えることが可能である点は理解されるべきである。
【0128】本発明には、例として次のような実施様態
が含まれる。 (1)情報信号を表現する圧縮入力ビットストリームを
処理する装置であって、各々が出力部を有し直列に連結
された複数の復号モジュールを含み、上記圧縮入力ビッ
トストリームを復号して復号ビットストリームを作成す
る多層復号器と、入力部および出力部を有し、上記情報
信号を修正して修正ビットストリームを作成するため上
記復号ビットストリームを処理する復号ビットストリー
ム・プロセッサと、各々が入力部を有し上記多層復号器
の復号モジュールの1つに対応し相互に直列に連結され
た複数の符号化モジュールを含み、上記修正ビットスト
リームを再符号化して圧縮出力ビットストリームを作成
する多層符号化器と、上記復号モジュールの1つの出力
部を上記復号ビットストリーム・プロセッサの入力部に
選択的に接続し、復号ビットストリーム・プロセッサの
出力部を符号化モジュールの対応する1つの入力部に選
択的に接続する選択的相互連結経路と、を備える圧縮入
力ビットストリーム処理装置。 (2)上記復号モジュールの1つより下流に位置する復
号モジュールをすべて非活動状態に設定し、上記符号化
モジュールの1つより上流に位置する符号化モジュール
をすべて非活動状態に設定する手段を更に備える、上記
(1)に記載の圧縮入力ビットストリーム処理装置。 (3)上記多層復号器が、上記圧縮入力ビットストリー
ムからビットストリーム・パラメータを導出する手段を
含み、上記装置が、上記多層符号化器と上記多層復号器
を相互連結させるビットストリーム・パラメータ送出経
路を更に備え、上記符号化モジュールのうちの少くとも
1つが、上記ビットストリーム・パラメータ送出経路に
接続し、上記導出手段によって上記圧縮入力ビットスト
リームから導出されたビットストリーム・パラメータを
使用して符号化演算を実行する、上記(1)に記載の圧
縮入力ビットストリーム処理装置。
【0129】(4)情報信号を表現する圧縮入力ビット
ストリームのビットストリーム特性を修正する装置であ
って、圧縮出力ビットストリームのビットストリーム特
性を定義する出力ビットストリーム定義を提供するコン
トローラと、復号ビットストリームを作成するため上記
圧縮入力ビットストリームを復号する機能を持ち、上記
圧縮入力ビットストリームからビットストリーム・パラ
メータを導出する手段を含む多層符号化器と、上記多層
復号器から上記ビットストリーム・パラメータを受け取
るように配置されるビットストリーム・パラメータ送出
経路と、上記ビットストリーム・パラメータ送出経路に
接続し、上記導出手段によって上記圧縮入力ビットスト
リームから導出されたビットストリーム・パラメータを
再使用して、上記出力ビットストリーム定義に従って上
記復号ビットストリームを再符号化して圧縮出力ビット
ストリームを作成する多層符号化器と、を備えるビット
ストリーム特性修正装置。 (5)復号ビットストリームが上記情報信号に関して部
分的に符号化される、上記(4)に記載のビットストリ
ーム特性修正装置。 (6)上記装置が、上記復号ビットストリームを受け取
り、該復号ビットストリームを修正するように処理して
修正ビットストリームを作成し、それを上記多層符号化
器へ提供する復号ビットストリーム・プロセッサを更に
備え、上記多層符号化器が上記修正ビットストリームを
再符号化するため上記ビットストリーム・パラメータを
再使用する、上記(4)に記載のビットストリーム特性
修正装置。 (7)上記復号ビットストリーム・プロセッサが更に上
記ビットストリーム・パラメータ送出経路に接続し、上
記導出手段によって上記圧縮入力ビットストリームから
導出されたビットストリーム・パラメータに応じて上記
復号ビットストリームを処理する、上記(6)に記載の
ビットストリーム特性修正装置。
【0130】(8)情報信号を表現する圧縮入力ビット
ストリームを処理する方法であって、情報信号を表現す
る部分的に圧縮されたビットストリームとして復号ビッ
トストリームを作成するため上記圧縮入力ビットストリ
ームを部分的に復号するステップと、情報信号の修正を
通して上記復号ビットストリームを処理して、部分的に
符号化された修正ビットストリームを生成するステップ
と、上記修正ビットストリームを再符号化して圧縮出力
ビットストリームを生成するステップと、を含む圧縮入
力ビットストリーム処理方法。 (9)上記方法が、上記圧縮入力ビットストリームから
ビットストリーム・パラメータを導出するステップを更
に含み、上記修正ビットストリームが、上記圧縮入力ビ
ットストリームから導出されたビットストリーム・パラ
メータを使用して再符号化される、上記(8)に記載の
圧縮入力ビットストリーム処理方法。
【0131】(10)情報信号を表現する圧縮入力ビッ
トストリームのビットストリーム特性を修正する方法で
あって、圧縮出力ビットストリームのビットストリーム
特性を定義する出力ビットストリーム定義を生成するス
テップと、上記圧縮入力ビットストリームからビットス
トリーム・パラメータを導出するステップと、上記圧縮
入力ビットストリームを少なくとも部分的に復号して復
号ビットストリームを作成するステップと、上記圧縮入
力ビットストリームから導出されたビットストリーム・
パラメータを使用して復号ビットストリームを再符号化
して、上記出力ビットストリーム定義によって定義され
るビットストリーム特性を持つ圧縮た出力ビットストリ
ームを生成するステップと、を含むビットストリーム特
性修正方法。 (11)上記圧縮入力ビットストリームから導出される
ビットストリーム・パラメータが、多量の計算処理資源
を使用して生成されるビットストリーム・パラメータで
ある、上記(10)に記載のビットストリーム特性修正
方法。 (12)上記方法が、情報信号の修正を通して上記復号
ビットストリームを処理して復号ビットストリームを生
成するステップを更に含み、復号ビットストリームに代
わって上記修正ビットストリームを上記ビットストリー
ム・パラメータを使用して再符号化して圧縮出力ビット
ストリームが生成される、上記(10)に記載のビット
ストリーム特性修正方法。 (13)上記復号ビットストリームが上記ビットストリ
ーム・パラメータに応じて処理される、上記(10)に
記載のビットストリーム特性修正方法。
【0132】(14)情報信号を表現し、1つの圧縮状
態を持つ圧縮入力ビットストリームを処理する装置であ
って、上記圧縮入力ビットストリームを入力ビットスト
リームとして受け取り、該圧縮入力ビットストリームの
上記圧縮状態を変更して、出力ビットストリームを生成
する第1の圧縮状態変換ユニットと、上記第1の圧縮状
態変換ユニットの上記出力ビットストリームを受け取
り、上記情報信号を変更するようにそれを処理して修正
ビットストリームを生成するプロセッサと、上記修正ビ
ットストリームを入力ビットストリームとして受け取
り、該修正ビットストリームの上記圧縮状態を変更し
て、圧縮出力ビットストリームとして出力ビットストリ
ームを生成する第2の圧縮状態変換ユニットと、を備
え、上記第1および第2の圧縮状態変換ユニットの各々
が、入力部および出力部をそれぞれ有する多層符号化/
復号モジュール、上記入力ビットストリームの圧縮状態
に応じて上記入力ビットストリームを上記符号化/復号
モジュールの1つに選択的に接続する入力インタフェー
ス、および、出力ビットストリームの圧縮状態に応じて
上記符号化/復号モジュールの1つの上記出力部からビ
ットストリームを出力ビットストリームとして選択的に
受け取る出力インタフェース・モジュールを含む、圧縮
入力ビットストリーム処理装置。 (15)上記入力ビットストリームの上記圧縮状態を変
更する際必要とされない符号化/復号モジュールを非活
動状態にさせる手段を更に備える上記(14)に記載の
圧縮入力ビットストリーム処理装置。 (16)上記第1の圧縮状態変換ユニットが上記入力ビ
ットストリームからビットストリーム・パラメータを導
出する手段を含み、上記装置が上記第1の圧縮状態変換
ユニットと上記第2の圧縮状態変換ユニットを接続する
パラメータ送出経路を更に備え、上記第2の圧縮状態変
換ユニットの上記符号化/復号モジュールの少なくとも
1つが上記パラメータ送出経路に接続して上記圧縮入力
ビットストリームから導出された上記ビットストリーム
・パラメータを使用して符号化演算を実行する、上記
(14)に記載の圧縮入力ビットストリーム処理装置。
【0133】(17)情報信号を表現し、1つの圧縮状
態を持つ圧縮入力ビットストリームを処理する方法であ
って、多層符号化/復号モジュールを用意するステップ
と、上記多層符号化/復号モジュールから符号化/復号
モジュールの第1のセットおよび符号化/復号モジュー
ルの第2のセットを選択するステップと、上記符号化/
復号モジュールの第1のセットを使用して上記圧縮入力
ビットストリームの上記圧縮状態を変更して第1の出力
ビットストリームを作成するステップと、上記情報信号
を修正するように上記第1の出力ビットストリームを処
理し、上記第1の出力ビットストリームと同じ圧縮状態
を持つ修正ビットストリームを生成するステップと、上
記符号化/復号モジュールの第2のセットを使用して上
記修正ビットストリームの圧縮状態を変更して、第2の
出力ビットストリームを生成するステップと、を含む圧
縮入力ビットストリーム処理方法。 (18)上記第1のセットの上記符号化/復号モジュー
ルに関して符号化モードおよび復号モードの1つを選択
するステップと、上記第2のセットの上記符号化/復号
モジュールに関して符号化モードおよび復号モードの1
つを選択するステップと、を更に含む上記(17)に記
載の圧縮入力ビットストリーム処理方法。 (19)上記方法が上記圧縮入力ビットストリームから
ビットストリーム・パラメータを導出するステップを更
に含み、上記圧縮入力ビットストリームから導出された
上記ビットストリーム・パラメータを使用して上記修正
ビットストリームの圧縮状態が変更される、上記(1
7)に記載の圧縮入力ビットストリーム処理方法。 (20)上記方法が上記圧縮入力ビットストリームから
ビットストリーム・パラメータを導出するステップを更
に含み、上記圧縮入力から導出された上記ビットストリ
ーム・パラメータを使用して上記第1の出力ビットスト
リームが処理される、上記(17)に記載の圧縮入力ビ
ットストリーム処理方法。
【0134】
【発明の効果】本発明に従うビデオ処理システムによっ
て、異なる圧縮状態のビットストリームを処理する複数
プロセッサの連結が可能となり、それによって、いかな
る圧縮状態の圧縮入力ビットストリームも処理すること
ができ、圧縮入力ビットストリームと同じまた異なる圧
縮状態の圧縮出力ビットストリームを生成することが可
能となる。
【図面の簡単な説明】
【図1】圧縮入力ビットストリームを処理する従来技術
の装置のブロック図である。
【図2】圧縮入力ビットストリームを処理する本発明に
従う装置の第1の実施形態のブロック図である。
【図3】図2の装置の部分的詳細を示すブロック図であ
る。
【図4】圧縮入力ビットストリームから導出されるビッ
トストリーム・パラメータが本発明に従う装置における
多層符号化器においてどのように再使用されるかを示す
ブロック図である。
【図5】圧縮入力ビットストリームから導出される量子
化パラメータを再使用することによって多層符号化器に
おいて量子化が実行される第1のプロセスの流れ図であ
る。
【図6】圧縮入力ビットストリームから導出される量子
化パラメータを再使用することによって多層符号化器に
おいて量子化が実行される第2のプロセスの流れ図であ
る。
【図7】圧縮入力ビットストリームを処理する本発明に
従う装置の第2の実施形態のブロック図である。
【図8】図7の第2の実施形態の装置の圧縮状態変換ユ
ニットの詳細を示すブロック図である。
【符号の説明】
100、700 圧縮ビットストリーム処理装置 112、712 圧縮入力ビットストリーム 114 多層復号器 116 復号ビットストリーム 118 復号ビットストリーム・プロセッサ 120、720 処理選択モジュール 122 修正ビットストリーム 124 多層符号化器 126、726 圧縮出力ビットストリーム 128、728 ビットストリーム・パラメータ送出
経路 130、730 ビットストリーム・パラメータ送出
モジュール 132 復号制御経路 134、725 出力バス 136 復号器ビットストリーム・パラメータ・バス 138、738 入力バス 140 符号化器ビットストリーム・パラメータ・バ
ス 142 符号化制御経路 201 復号器バッファ 203 デマルチプレクサ(DEMUX) 205 逆可変長符号化器(IVLC) 207 逆量子化器(IQ) 209 逆離散型コサイン変換モジュール(IDCT) 211 動き補償器(MC) 213 空間ビットストリーム出力モジュール 215 出力セレクタ 301 符号化器バッファ 303 マルチプレクサ(MUX) 305 可変長符号化器(VLC) 307 量子化器(QUANT) 309 離散型コサイン変換モジュール(DCT) 311 動き補償器(MC) 313 空間ビットストリーム入力モジュール 315 入力セレクタ 317 ローカル復号器 705 可変長符号化/復号モジュール 707 量子化/逆量子化モジュール 709 直交変換モジュール 711 動き補償/空間処理モジュール 714 圧縮状態変換ユニット 714A 第1の圧縮状態変換ユニット 714B 第1の圧縮状態変換ユニット 724 最終圧縮状態変換ユニット 718A 第1のプロセッサ 718B 第2のプロセッサ 719 入力インタフェース 721 出力インタフェース 723 多層符号化/復号モジュール 732 制御経路 736 ビットストリーム・パラメータ送出バス

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】情報信号を表現する圧縮入力ビットストリ
    ームを処理する装置であって、 各々が出力部を有し直列に連結された複数の復号モジュ
    ールを含み、上記圧縮入力ビットストリームを復号して
    復号ビットストリームを作成する多層復号器と、 入力部および出力部を有し、上記情報信号を修正して修
    正ビットストリームを作成するため上記復号ビットスト
    リームを処理する復号ビットストリーム・プロセッサ
    と、 各々が入力部を有し上記多層復号器の復号モジュールの
    1つに対応し相互に直列に連結された複数の符号化モジ
    ュールを含み、上記修正ビットストリームを再符号化し
    て圧縮出力ビットストリームを作成する多層符号化器
    と、 上記復号モジュールの1つの出力部を上記復号ビットス
    トリーム・プロセッサの入力部に選択的に接続し、復号
    ビットストリーム・プロセッサの出力部を符号化モジュ
    ールの対応する1つの入力部に選択的に接続する選択的
    相互連結経路と、 を備える圧縮入力ビットストリーム処理装置。
JP10174399A 1997-06-30 1998-06-22 圧縮入力ビットストリーム処理装置 Ceased JPH1174798A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US884,751 1997-06-30
US08/884,751 US5907374A (en) 1997-06-30 1997-06-30 Method and apparatus for processing a compressed input bitstream representing an information signal

Publications (1)

Publication Number Publication Date
JPH1174798A true JPH1174798A (ja) 1999-03-16

Family

ID=25385315

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10174399A Ceased JPH1174798A (ja) 1997-06-30 1998-06-22 圧縮入力ビットストリーム処理装置

Country Status (3)

Country Link
US (1) US5907374A (ja)
EP (1) EP0889650A3 (ja)
JP (1) JPH1174798A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001078398A1 (en) * 2000-04-11 2001-10-18 Mitsubishi Denki Kabushiki Kaisha Transcoding of compressed video
US6792048B1 (en) 1999-10-29 2004-09-14 Samsung Electronics Co., Ltd. Terminal supporting signaling used in transmission and reception of MPEG-4 data
JP2005253092A (ja) * 1999-02-09 2005-09-15 Sony Corp コーディングシステム及び方法、符号化装置および方法、復号化装置及び方法、記録装置及び方法、ならびに再生装置及び方法
JP2007060708A (ja) * 1999-02-09 2007-03-08 Sony Corp ストリーム記録装置およびストリーム記録方法、ストリーム再生装置およびストリーム再生方法、ストリーム伝送装置およびストリーム伝送方法、並びに、プログラム格納媒体
US7236526B1 (en) 1999-02-09 2007-06-26 Sony Corporation Coding system and its method, coding device and its method, decoding device and its method, recording device and its method, and reproducing device and its method
KR100896974B1 (ko) * 2004-03-10 2009-05-14 노키아 코포레이션 압축-영역 비디오 편집 방법, 장치들, 시스템 및소프트웨어 생성물
US7606124B2 (en) 2003-05-14 2009-10-20 Sony Corporation Image processing device and image processing method, information processing device and information processing method, information recording device and information recording method, information reproducing device and information reproducing method, storage medium, and program
USRE43021E1 (en) 1994-03-29 2011-12-13 Sony Corporation Picture signal transmitting method and apparatus
US8170118B2 (en) 1999-12-03 2012-05-01 Sony Corporation Information processing apparatus, information processing method and recording medium
US8638849B2 (en) 1998-03-10 2014-01-28 Sony Corporation Transcoding system using encoding history information
USRE48845E1 (en) 2002-04-01 2021-12-07 Broadcom Corporation Video decoding system supporting multiple standards

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611624B1 (en) * 1998-03-13 2003-08-26 Cisco Systems, Inc. System and method for frame accurate splicing of compressed bitstreams
US6498816B1 (en) * 1999-09-03 2002-12-24 Equator Technologies, Inc. Circuit and method for formatting each of a series of encoded video images into respective regions
US7194032B1 (en) * 1999-09-03 2007-03-20 Equator Technologies, Inc. Circuit and method for modifying a region of an encoded image
JP2001145113A (ja) * 1999-11-17 2001-05-25 Sony Corp 画像情報変換装置及び方法
US6633674B1 (en) * 1999-11-24 2003-10-14 General Electric Company Picture archiving and communication system employing improved data compression
GB2358539A (en) * 2000-01-21 2001-07-25 Sony Uk Ltd Data processing method which separates parameter data from coded data
US6459738B1 (en) * 2000-01-28 2002-10-01 Njr Corporation Method and apparatus for bitstream decoding
AU777595B2 (en) * 2000-03-13 2004-10-21 Sony Corporation Content supplying apparatus and method, and recording medium
JP2002209215A (ja) * 2001-01-09 2002-07-26 Sony Corp 符号量制御装置及び方法、並びに画像情報変換装置及び方法
GB2369952B (en) * 2001-03-10 2002-12-04 Ericsson Telefon Ab L M Transcoding of video signals
JP2004531942A (ja) * 2001-04-12 2004-10-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ウォーターマーク埋め込み
US7162097B1 (en) * 2001-05-29 2007-01-09 Cisco Technology, Inc. Methods and apparatus for transform coefficient filtering
US7054362B1 (en) 2001-05-29 2006-05-30 Cisco Technology, Inc. Methods and apparatus for updating a reduction ratio
US7197070B1 (en) 2001-06-04 2007-03-27 Cisco Technology, Inc. Efficient systems and methods for transmitting compressed video data having different resolutions
US7675972B1 (en) * 2001-07-30 2010-03-09 Vixs Systems, Inc. System and method for multiple channel video transcoding
US7096488B1 (en) 2001-10-19 2006-08-22 Cisco Technology, Inc. Methods and apparatus for facilitating network splicing
JP4158374B2 (ja) * 2001-11-19 2008-10-01 ブラザー工業株式会社 画像形成装置およびプログラム
US6917945B2 (en) * 2002-02-04 2005-07-12 Microsoft Corporation Encoding and decoding methods and systems
KR100950525B1 (ko) * 2002-12-02 2010-03-30 삼성전자주식회사 트랜스코딩 장치 및 방법, 이에 사용되는 타겟비트할당 및픽처 복잡도 예측 장치 및 방법
FI114071B (fi) * 2003-01-13 2004-07-30 Nokia Corp Kuvien käsitteleminen rajoitetulla bittimäärällä
SG140441A1 (en) * 2003-03-17 2008-03-28 St Microelectronics Asia Decoder and method of decoding using pseudo two pass decoding and one pass encoding
US9292904B2 (en) 2004-01-16 2016-03-22 Nvidia Corporation Video image processing with parallel processing
JP4491295B2 (ja) * 2004-07-22 2010-06-30 キヤノン株式会社 画像再生方法及び画像再生装置
EP1628484B1 (en) * 2004-08-18 2019-04-03 STMicroelectronics Srl Method for transcoding compressed video signals, related apparatus and computer program product therefor
US7869666B2 (en) 2005-01-13 2011-01-11 Nvidia Corporation Video processing system and method with dynamic tag architecture
US20070147510A1 (en) * 2005-12-27 2007-06-28 Islam Asad Method and module for altering color space parameters of video data stream in compressed domain
US8335266B2 (en) * 2007-06-29 2012-12-18 Cisco Technology, Inc. Expedited splicing of video streams
KR101080846B1 (ko) * 2010-03-30 2011-11-07 중앙대학교 산학협력단 보정 행렬의 추정에 의한 영상의 색상 손상 보정장치 및 방법
JP2012199877A (ja) * 2011-03-23 2012-10-18 Sony Corp 画像処理装置、画像処理方法、並びにプログラム
US20160345022A1 (en) 2014-03-18 2016-11-24 Mediatek Inc. Data processing apparatus for transmitting/receiving compressed display data with improved error robustness and related data processing method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1079001C (zh) * 1993-03-26 2002-02-06 英国电讯有限公司 代码转换器
JP3161228B2 (ja) * 1994-06-06 2001-04-25 ソニー株式会社 データ処理装置
WO1995035628A1 (en) * 1994-06-17 1995-12-28 Snell & Wilcox Limited Video compression
DE69522861T2 (de) * 1994-06-30 2002-04-11 Koninkl Philips Electronics Nv Verfahren und Einrichtung zur Codeumwandlung von codiertem Datenstrom
US5512953A (en) * 1994-08-09 1996-04-30 At&T Corp. Method and apparatus for conversion of compressed bit stream representation of video signal
WO1996025823A2 (en) * 1995-02-15 1996-08-22 Philips Electronics N.V. Method and device for transcoding video signals
WO1996026608A2 (en) * 1995-02-22 1996-08-29 Philips Electronics N.V. System for transmitting a plurality of video programs simultaneously through a transmission channel
GB9608271D0 (en) * 1996-04-22 1996-06-26 Electrocraft Lab Video compession

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE43238E1 (en) 1994-03-29 2012-03-13 Sony Corporation Picture signal transmitting method and apparatus
USRE43111E1 (en) 1994-03-29 2012-01-17 Sony Corporation Picture signal transmitting method and apparatus
USRE43043E1 (en) 1994-03-29 2011-12-27 Sony Corporation Picture signal transmitting method and apparatus
USRE43021E1 (en) 1994-03-29 2011-12-13 Sony Corporation Picture signal transmitting method and apparatus
US8687690B2 (en) 1998-03-10 2014-04-01 Sony Corporation Transcoding system using encoding history information
US8638849B2 (en) 1998-03-10 2014-01-28 Sony Corporation Transcoding system using encoding history information
US7236526B1 (en) 1999-02-09 2007-06-26 Sony Corporation Coding system and its method, coding device and its method, decoding device and its method, recording device and its method, and reproducing device and its method
US7680187B2 (en) 1999-02-09 2010-03-16 Sony Corporation Coding system and method, encoding device and method, decoding device and method, recording device and method, and reproducing device and method
JP4539637B2 (ja) * 1999-02-09 2010-09-08 ソニー株式会社 ストリーム記録装置およびストリーム記録方法、ストリーム再生装置およびストリーム再生方法、ストリーム伝送装置およびストリーム伝送方法、並びに、プログラム格納媒体
JP4543321B2 (ja) * 1999-02-09 2010-09-15 ソニー株式会社 再生装置及び方法
US8681868B2 (en) 1999-02-09 2014-03-25 Sony Corporation Coding system and method, encoding device and method, decoding device and method, recording device and method, and reproducing device and method
JP2007060708A (ja) * 1999-02-09 2007-03-08 Sony Corp ストリーム記録装置およびストリーム記録方法、ストリーム再生装置およびストリーム再生方法、ストリーム伝送装置およびストリーム伝送方法、並びに、プログラム格納媒体
JP2005253092A (ja) * 1999-02-09 2005-09-15 Sony Corp コーディングシステム及び方法、符号化装置および方法、復号化装置及び方法、記録装置及び方法、ならびに再生装置及び方法
US6792048B1 (en) 1999-10-29 2004-09-14 Samsung Electronics Co., Ltd. Terminal supporting signaling used in transmission and reception of MPEG-4 data
US8170118B2 (en) 1999-12-03 2012-05-01 Sony Corporation Information processing apparatus, information processing method and recording medium
WO2001078398A1 (en) * 2000-04-11 2001-10-18 Mitsubishi Denki Kabushiki Kaisha Transcoding of compressed video
USRE48845E1 (en) 2002-04-01 2021-12-07 Broadcom Corporation Video decoding system supporting multiple standards
US7859956B2 (en) 2003-05-14 2010-12-28 Sony Corporation Image processing device and image processing method, information processing device and information processing method, information recording device and information recording method, information reproducing device and information reproducing method, storage medium, and program
US7606124B2 (en) 2003-05-14 2009-10-20 Sony Corporation Image processing device and image processing method, information processing device and information processing method, information recording device and information recording method, information reproducing device and information reproducing method, storage medium, and program
KR100896974B1 (ko) * 2004-03-10 2009-05-14 노키아 코포레이션 압축-영역 비디오 편집 방법, 장치들, 시스템 및소프트웨어 생성물

Also Published As

Publication number Publication date
EP0889650A3 (en) 2004-05-12
US5907374A (en) 1999-05-25
EP0889650A2 (en) 1999-01-07

Similar Documents

Publication Publication Date Title
JPH1174798A (ja) 圧縮入力ビットストリーム処理装置
EP2535870B1 (en) Video-information decoding apparatus and method
JPH10107644A (ja) 量子化装置および方法、並びに、符号化装置および方法
US20030058936A1 (en) Scalable coding scheme for low latency applications
US20080123748A1 (en) Compression circuitry for generating an encoded bitstream from a plurality of video frames
JPH07312756A (ja) 圧縮動画像符号信号の情報量変換回路、装置、及び方法
JP3469737B2 (ja) ディジタル・ビデオ・デコーダ
US20040151394A1 (en) Symmetrical, highly deterministic, low complexity, temporal transform video codec and vehicle distribution system incorporating same
JPH09182087A (ja) ディジタルビデオ信号を符号化する方法及び装置
EP0971542A2 (en) Readjustment of bit rates when switching between compressed video streams
KR20010018656A (ko) 동영상 수신 장치
JP2009528751A (ja) 差分符号化
JP2003520512A (ja) 伝送符号化方法及び伝送符号化装置
WO2000070878A1 (en) A system and method for performing inverse quantization of a video stream
Bortot et al. An innovative low complexity MPEG-2 video transcoder operating in the DCT domain
WO2004023820A1 (en) A device and a system for providing a change of a video signal
JPH1070723A (ja) 映像信号符号化システム用エンコーダ
MPEG THAM 15.3
JP2000236546A (ja) ビデオフォーマットダウン変換のための適応周波数合成方法と装置
JPH1141594A (ja) 動画像符号化装置および方法、動画像復号化装置および方法、並びに伝送媒体

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050531

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071218

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080314

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080319

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080417

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080819

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20081216