JP3882826B2

JP3882826B2 - 画像信号符号化装置及び画像信号符号化方法

Info

Publication number: JP3882826B2
Application number: JP2004094874A
Authority: JP
Inventors: 基晴上田
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2004-03-29
Filing date: 2004-03-29
Publication date: 2007-02-21
Anticipated expiration: 2018-02-26
Also published as: JP2004242350A

Description

本発明は、記録媒体に高能率符号化された画像情報の追加記録を行なうことを可能とする画像信号符号化装置及び画像信号符号化方法に関するものである。

近年、ディジタル化された画像信号に対して高能率符号化による圧縮された情報を光ディスクや磁気媒体等のメディアに記録し、この記録メディアを再生した情報に対して復号処理を行ない画像信号を復元し再生する、記録再生システムが開発・実用化されている。このようなシステムの代表的なものとして、現在ＤＶＤ−ＶＩＤＥＯが商品化されている。ＤＶＤ−ＶＩＤＥＯは、動画像の高能率符号化方式の国際規格であるＭＰＥＧ２を用い、高密度な光ディスクに圧縮情報を記録することによって、２時間を超える画像データを１枚のディスクに記録することができる。

ＭＰＥＧ２等の画像フレーム間の予測処理を用いた高能率符号化を実現する符号化装置として、図５に示すような構成のものが知られている。入力されたディジタル画像信号はフレームメモリ２に記録され、符号化シンタックスに従って符号化される順番に並べ替えを行なうため遅延される。フレームメモリ２から出力されたディジタル信号は、基準フレームにおいては２次元ブロック変換回路４で垂直方向Ｎ画素・水平方向Ｍ画素（通常Ｎ，Ｍは８）の２次元ブロックに変換される。変換されたデータに対して直交変換回路６でＤＣＴ変換処理が施され量子化回路８に送られる。量子化回路８において量子化されたＤＣＴ変換係数に対し、符号化回路１０において、符号化テーブル１２の係数に対応したアドレスを参照することにより可変長または固定長の符号化が行われ、マルチプレクサ１４により上記符号化データと画面内でのブロックの場所等を示す付加情報とが多重化され、ビットストリームとして記録媒体１６、例えば光ディスクに出力される。

以上の符号化処理と共に、量子化回路８で量子化されたＤＣＴ変換係数は逆量子化回路１８、逆直交変換回路２０においてそれぞれ逆量子化及び逆ＤＣＴ変換が行われ、さらにデブロック回路２２で非ブロック化され、符号化ビットストリームが復号された状態の画像信号に復元されて、予測メモリ２４に格納される。

続いて予測フレーム２４においては、フレームメモリ２から出力される画像と予測メモリ２４に格納されている画像との間での動きベクトルが動きベクトル検出回路２６によって求められる。動きベクトル検出回路２６は一般的にブロックマッチングにより求められ、符号化する画像と予測メモリ２４の画像をそれぞれ２次元ブロック化し、画素毎の差分絶対値総和（もしくは差分二乗総和）の最も小さいブロックに対する画面内の動き成分を動きベクトルとして出力する。この出力された動きベクトルにより、予測ブロックが動き補償予測回路２８により予測メモリ２４から切り出される。動き補償予測回路２８では予測モードの選択を行ない、符号化する画像ブロックとの差分を２次元ブロック変換回路４に送り出す。以降は、前記フレームの各ブロックと同様の処理が行なわれ、ＤＣＴ変換係数が動きベクトルや予測モードと共にビットストリームとして出力される。

符号量の制御に関しては、出力されたストリームの符号量がレートコントロール回路３０において目標とする符号量との比較が行なわれ、目標符号量に近づけるために量子化回路８の量子化の細かさ（量子化スケール）を制御する。ＭＰＥＧ２の場合では基準フレーム（Ｉピクチャ）と２種類の予測フレーム（Ｐピクチャ：片方向予測、Ｂピクチャ：両方向予測）の３種類の情報量の異なるピクチャタイプが存在するため、予め設定された符号化レートに対して、３つのピクチャタイプの性質と出現頻度を用いて、各フレームに対する目標符号量を算出する。

例えば、ある一定時間に割り与えられる総符号量をＲ、一定時間内のＩ，Ｐ，Ｂ各ピクチャのフレーム数をＮＩ，ＮＰ，ＮＢ、また直前の各ピクチャの符号量をＳＩ，ＳＰ，ＳＢ、その時の量子化スケールの平均値をＱＩ，ＱＰ，ＱＢとすると、乗算記号（乗算演算子）を＊として、
ＸＩ＝ＳＩ＊ＱＩ
ＸＰ＝ＳＰ＊ＱＰ
ＸＢ＝ＳＢ＊ＱＢ …（式１）
上記ＸＩ，ＸＰ，ＸＢが符号化難易度を表わす値となり、これから処理を行なうピクチャに対しては、この比率を用いて符号量を割り振ることにより、目標符号量を設定することができる。各ピクチャタイプの目標符号量をＴＩ，ＴＰ，ＴＢとすると、
ＴＩ＝Ｒ＊ＸＩ／｛（ＮＩ＊ＸＩ）＋（ＮＰ＊ＸＰ）／ＫＰ
＋（ＮＢ＊ＸＢ）／ＫＢ｝
ＴＰ＝Ｒ＊ＸＰ／｛（ＮＰ＊ＸＩ）＊ＫＰ＋（ＮＰ＊ＸＰ）
＋（ＮＢ＊ＸＢ）＊ＫＰ／ＫＢ｝
ＴＢ＝Ｒ＊ＸＢ／｛（ＮＩ＊ＸＩ）＊ＫＢ＋（ＮＰ＊ＸＰ）＊ＫＢ／ＫＰ
＋（ＮＢ＊ＸＢ）｝
…（式２）
と算出することができる。なお、ここで、ＫＰ，ＫＢは、それぞれＰ，Ｂに対する符号化処理を考慮した重みとする。

ここで、先行する画像の複雑さ（アクティビティ）を予め算出しておき、そのアクティビティ値を各フレームに対する目標符号量の割り当てに反映させると、制御能力を高めることができる。

例えば、各フレームタイプの直前のアクティビティをＡＩ，ＡＰ，ＡＢとし、これから符号化する画像のアクティビティがＣＡであった場合、これから符号化するフレームのフレームタイプの符号化難易度を、
ＸＩ＝ＸＩ＊ＣＡ／ＡＩ
ＸＰ＝ＸＰ＊ＣＡ／ＡＰ
ＸＢ＝ＸＢ＊ＣＡ／ＡＢ …（式３）
と更新することにより、これから符号化する画像の複雑さが符号量割り当てに反映され、画質の安定したストリームを出力することができる。

目標符号量は、復号装置のストリームバッファを仮想的にシミュレートして、バッファのオーバーフロー／アンダーフローが起きないように制限される。量子化回路８における量子化スケールは、スケールと出力符号量とが一般的にほぼ反比例の関係にあることを利用して、各ピクチャタイプ毎に目標符号量に対する量子化スケール値ＣＱを例えば以下のような計算式で求め、量子化処理を行なう。

ＣＱ＝ＸＩ／ＴＩ（Ｉピクチャの場合）
＝ＸＰ／ＴＰ（Ｐピクチャの場合）
＝ＸＢ／ＴＢ（Ｂピクチャの場合） …（式４）
符号化開始時には、基準となる画像がないため、一般的な画像を考慮したパラメータが初期値としてセットされる。そのため符号化開始時には符号量の制御能力が落ちるが、処理が進むと安定した制御を実現することができる。

ピクチャ内での各ブロックでは、ブロック毎に目標符号量に近づく方向に量子化スケールを変動させることによって、目標符号量内に符号化ビットストリームを抑える。固定転送レート符号化の場合に、細かい量子化スケールを用いても符号化ストリームの量が設定した符号化レートに満たない場合には、１つのピクチャの区切りを示すヘッダコードの前に足りない符号量分のスタッフィングビットを詰め込むことにより、設定した符号化レートに合わせる。

ＤＶＤビデオ等の読み出し専用記録媒体に対しては、記録イメージを作成してプレスすることにより生産されるため、一度に全てのデータエリアに画像情報が記録される。しかしながら、読み書き両用記録媒体においては、一度に全てのデータエリアに記録する必要は無く、必要に応じて追加記録を行なったり、符号化ストリームの途中から編集記録することが可能である。ビデオカメラ等の用途に使用する場合には、同一場所での撮影であっても構図を変更するために記録の一時停止を行なうことがあり、またバッテリー等を交換するためには一時的に電源をオフにしたりする必要がある。このような場合に、すでに記録された画像情報とこれから記録する画像情報を同一シーケンスとして再生させたい場合には、仮想ストリームバッファの制御を迫記される符号化処理に引き継ぐ必要がある。

追加記録を行なう場合に、すでに記録されている符号化ストリームから、仮想ストリームバッファの制御を行なうためには、ストリームに記録されている仮想バッファの大きさ、符号化レートを読み取ると共に、最後のフレームのストリームの先頭を検出して、へッダ情報に記録されている仮想バッファのバッファ位置を読み込み、更に最後のフレームに要した符号量と、符号化レート、仮想バッファの大きさから、符号化終了時の仮想バッファの位置を計算し、その値を初期値として符号化処理を行なう必要がある。そのため、符号化開始時に特別な処理を必要とする欠点があった。また、すでに符号化された画像信号の符号化時に用いられた制御バラメータはストリーム上には記録されていないため、迫加記録時にパラメータが初期化され入力画像信号の特性に追従するまでに、数フレームの符号化処理を必要とし、特に、すでに記録された画像と特性の似ている画像の符号化処理を行ない追加記録をする場合に、繋ぎ目の部分で瞬間的に画質を劣化させる欠点があった。

本発明は上記問題を解決するためになされたものであり、追加記録を行なう場合に、すでに符号化された画像との連続性を保証し、かつ画質劣化の少ない符号化処理を行なうことを可能とする画像信号符号化装置及び画像信号符号化方法を提供することを目的とするものである。

上記目的を達成するために、本発明は下記の装置、方法を提供するものである。
（１）記録媒体に記録されている可変長符号化処理の施された符号化画像信号における所定単位の符号化画像信号に繋げて、新たな画像信号の可変長符号化処理を行う画像信号符号化装置であって、
前記記録媒体は、前記符号化画像信号が記録された記録エリアと、前記符号化画像信号を得る際の可変長符号化処理に用いられた制御用パラメータが記録されたデータエリアとを有し、前記制御用パラメータは、前記所定単位の符号化画像信号を得る際の可変長符号化処理における可変長符号化処理終了時の仮想バッファの位置を少なくとも含むものであり、
前記記録媒体に記録されている前記所定単位の符号化画像信号に繋げて、前記新たな画像信号の可変長符号化処理を行う際の符号化開始時に、
前記記録媒体のデータエリアから読み出した前記所定単位の符号化画像信号に対応した前記制御用パラメータを、可変長符号化処理における初期パラメータとして設定して、前記新たな画像信号の可変長符号化処理を開始させる符号化処理手段を備えたことを特徴とする画像信号符号化装置。
（２）記録媒体に記録されている可変長符号化処理の施された符号化画像信号における所定単位の符号化画像信号に繋げて、新たな画像信号の可変長符号化処理を行う画像信号符号化方法であって、
前記記録媒体は、前記符号化画像信号が記録された記録エリアと、前記符号化画像信号を得る際の可変長符号化処理に用いられた制御用パラメータが記録されたデータエリアとを有し、前記制御用パラメータは、前記所定単位の符号化画像信号を得る際の可変長符号化処理における可変長符号化処理終了時の仮想バッファの位置を少なくとも含むものであり、
前記記録媒体に記録されている前記所定単位の符号化画像信号に繋げて、前記新たな画像信号の可変長符号化処理を行う際の符号化開始時に、
前記記録媒体のデータエリアから読み出した前記所定単位の符号化画像信号に対応した前記制御用パラメータを、可変長符号化処理における初期パラメータとして設定して、前記新たな画像信号の可変長符号化処理を開始させる符号化処理ステップを備えたことを特徴とする画像信号符号化方法。

本発明の画像信号符号化装置及び画像信号符号化方法によれば、ディスク等の記録媒体の特定エリアに記録されている符号化終了時における符号量を制御するための、少なくとも仮想バッファの位置を含む制御パラメータを、追加記録や編集処理で新たに符号化処理を行なう際に初期パラメータとして設定して、新たな符号化処理を開始する。従って、本発明を適用すれば、符号化ストリームを同一シーケンスで扱うための仮想バッファ制御処理を容易に実現することができるとともに、符号化開始時のレート制御を安定化させることができる。

［実施の形態１］
図１は、本発明を適用した画像信号符号化装置の第一の実施の形態を示すものである。この画像信号符号化装置は、フレームメモリ２、２次元ブロック変換回路４、直交変換回路６、量子化回路８、符号化回路１０、符号化テーブル１２、マルチプレクサ１４、逆量子化回路１８、逆直交変換回路２０、デブロック回路２２、予測メモリ２４、動きベクトル検出回路２６、動き補償予測回路２８、レートコントロール回路３０、符号化パラメータレジスタ３２、及び符号化パラメータ記録再生回路３４により構成されている。これらの要素のうち、フレームメモリ２からレートコントロール回路３０までの装置部分に関しては、図５を参照して説明した従来装置と同様であり、その説明は省略する。

マルチプレクサ１４では多重化したビットストリームを記録媒体１６に出力し記録すると共に、記録されたストリームの発生符号量をカウントしてレートコントロール回路３０に出力する。レートコントロール回路３０では、設定された符号化レートと発生符号量とピクチャタイプ（Ｉピクチャ又はＰピクチャ又はＢピクチャ）から、次のフレームの符号化の目標符号量を算出し、量子化スケールを決定して量子化回路８へ出力する。ここで、目標符号量算出に用いられるパラメータは、本発明に従い符号化パラメータレジスタ３２に記憶される。符号化コントロールが従来例で示されたような方式で行われる場合には、記憶されるパラメータは、符号化難易度を示す各ピクチャＰ，Ｉ，Ｂ毎のパラメータＸＩ，ＸＰ，ＸＢ、一定時間に割り当てられる総符号量を表わすＲ、一定時間内のフレーム総数を示すＮ（＝ＮＩ＋ＮＰ＋ＮＢ）、各フレームタイプの最後のピクチャのアクティビティＡＩ，ＡＰ，ＡＢ、仮想バッファの大きさＶＳ、仮想バッファの現在の位置ＶＣ等である。上記パラメータはピクチャ毎に必要に応じて参照され、また更新される。

符号化処理の終了時には、符号化パラメータ記録再生回路３４が、記録媒体１６の符号化データエリア以外の特定のエリアに上記パラメータを記録して処理を終了する。記録媒体のパラメータが記録されるエリアのデータフォーマットの一例を図２に示す。記録エリアの最初の位置にあるリードイン部４０に続き、ディスク情報等が書かれているデータトラック４２が存在する。ここには、媒体のＩＤ情報すなわちディスク識別情報４２０、ファイルフォーマット情報すなわちディスク管理情報４２２、再生開始ポイント情報４２４等を定義するへッダエリアが存在する。このヘッダエリアの次に上記パラメータが記録される符号化制御情報エリア４２６を設ける。ここで説明する符号化制御情報エリア４２６には、制御用パラメータのためのヘッダＡ１（３２ビット）に続き、追加記録を行なうディスクエリアの先頭位置を示す追加記録先頭位置エリアＡ２（３２ビット）、総符号量Ｒを示すＲエリアＡ３（１６ビット）、仮想バッファの大きさＶＳを示すＶＳエリアＡ４（１６ビット）、仮想バッファの位置ＶＣを示すＶＣエリアＡ５（１６ビット）、一定時間内の各ピクチャのフレーム総数を示すＮエリアＡ６（８ビット）、Ｉピクチャの符号化難易度ＸＩを示すＸＩエリアＡ７（１２ビット）、Ｐピクチャの符号化難易度ＸＰを示すＸＰエリアＡ８（１２ビット）、Ｂピクチャの符号化難易度ＸＢを示すＸＢエリアＡ９（１２ビット）、各フレームタイプの最後のＩピクチャのアクティビティＡＩを示すＡＩエリアＡ１０（１２ビット）、同様にＰピクチャのアクティビティＡＰを示すＡＰエリアＡ１１（１２ビット）、ＢピクチャのアクティビティＡＢを示すＡＢエリアＡ１２（１２ビット）の順で記録される。このデータエリアの後に、符号化情報が記録される符号化ストリームトラック４４，４６，４８が存在する。

符号化開始時には、まず制御用パラメータを示すへッダＡ１を探索し、追加記録先頭位置Ａ２の内容を読み込み、その場所に記録位置を移動させる。また、符号化パラメータ記録再生回路３４は、上記制御用パラメータを読み込み、符号化パラメータレジスタ３２に記録する。この符号化装置は、通常の符号化処理と同様に符号化パラメータレジスタ３２を参照して符号化処理を開始する。

このようにして、すでに符号化された画像情報の制御用パラメータを読み込み追加記録を行なうことにより、すでに符号化された画像との連続性を保証することができると共に、符号化開始時のレート制御能力を向上させることができる。
［実施の形態２］
次に、本発明を適用した第二の実施の形態を示す符号化装置について説明する。この実施の形態では、符号化パラメータ記録再生回路３４を符号化パラメータ記録回路３６及び符号化パラメータ再生変換回路３８に分離されている。符号化パラメータ記録回路３６においては、第一の実施の形態と同様のパラメータと共に、符号化装置の識別を行なうための信号を記録する。識別信号を制御方法の異なる符号化装置で異なる信号を記録することにより、すでに記録された画像情報が、いかなる符号化装置で処理されたかを知ることができる。識別信号は、符号化装置に共通なパラメータ（一定時間に割り当てられる総符号量Ｒ、仮想バッファの大きさＶＳ及び位置ＶＣ）に続いて記録され、以降に符号化に特有のパラメータが記録される。符号化開始時に、再生回路は識別信号を読み取り、それに続く制御用パラメータを読み取る。識別信号が、自己のものと同様であれば、制御パラメ一夕をそのまま符号化パラメータレジスタに記憶させ、符号化処理を開始する。自己のものと異なる識別信号の場合には、制御用パラメータの変換処理を行ない、使用可能なパラメータを符号化パラメータに記憶させ、他のエリアには初期値をセットする。

異なるアルゴリズムの符号化装置で記録された画像信号に連続して追加記録を行ないたい場合に、仮想バッファ等の符号化装置に共通なパラメータは確実に読み込めるため、符号化ストリームの連続性を確保することができる。また、予め他のアルゴリズムの符号化装置の認識信号とパラメータの変換規則をメモリ等に貯えておき、認識信号とパラメータから、符号化処理に必要なパラメータを生成することにより、異なる装置間においても、符号化制御処理の安定性を向上させることができる。

図２の記録媒体の例においては、記録媒体の先頭エリアにのみ上記パラメータ記録エリアを設けているが、複数のパラメータ記録エリアを設けることも可能である。図４に例示するように、編集可能なストリームの単位、例えば符号化ストリーム４４に、ストリームデータＢ２，Ｂ４，Ｂ７に先立ちそれぞれパラメータ記録エリアすなわち制御情報エリアＢ１，Ｂ３，Ｂ６を設けておき、編集ポイントでパラメータを読み取ることにより、編集処理においても符号化ストリームの連続性と符号化制御の安定性を実現することができる。

本発明を適用した符号化装置の第１の実施の形態を示すブロック図である。本発明を適用した第１の実施の形態を実現する記録媒体のデータフォーマットの一例を示す図である。本発明を適用した符号化装置の第２の実施の形態を示すブロック図である。制御データの格納エリアを複数所有する、記録媒体のデータフォーマットの一例を示す図である。従来の画像符号化装置を示すブロック図である。

符号の説明

２フレームメモリ
４２次元ブロック変換回路
６直交変換回路
８量子化回路
１０符号化回路
１２符号化テーブル
１４マルチプレクサ
１６記録媒体
１８逆量子化回路
２０逆直交変換回路
２２デブロック回路
２４予測メモリ
２６動きベクトル検出回路
２８動き補償予測回路
３０レートコントロール回路
３２符号化パラメータレジスタ
３４符号化パラメータ記録再生回路
３６符号化パラメータ記録回路
３８符号化パラメータ再生変換回路

Claims

記録媒体に記録されている可変長符号化処理の施された符号化画像信号における所定単位の符号化画像信号に繋げて、新たな画像信号の可変長符号化処理を行う画像信号符号化装置であって、
前記記録媒体は、前記符号化画像信号が記録された記録エリアと、前記符号化画像信号を得る際の可変長符号化処理に用いられた制御用パラメータが記録されたデータエリアとを有し、前記制御用パラメータは、前記所定単位の符号化画像信号を得る際の可変長符号化処理における可変長符号化処理終了時の仮想バッファの位置を少なくとも含むものであり、
前記記録媒体に記録されている前記所定単位の符号化画像信号に繋げて、前記新たな画像信号の可変長符号化処理を行う際の符号化開始時に、
前記記録媒体のデータエリアから読み出した前記所定単位の符号化画像信号に対応した前記制御用パラメータを、可変長符号化処理における初期パラメータとして設定して、前記新たな画像信号の可変長符号化処理を開始させる符号化処理手段を備えたことを特徴とする画像信号符号化装置。
記録媒体に記録されている可変長符号化処理の施された符号化画像信号における所定単位の符号化画像信号に繋げて、新たな画像信号の可変長符号化処理を行う画像信号符号化方法であって、
前記記録媒体は、前記符号化画像信号が記録された記録エリアと、前記符号化画像信号を得る際の可変長符号化処理に用いられた制御用パラメータが記録されたデータエリアとを有し、前記制御用パラメータは、前記所定単位の符号化画像信号を得る際の可変長符号化処理における可変長符号化処理終了時の仮想バッファの位置を少なくとも含むものであり、
前記記録媒体に記録されている前記所定単位の符号化画像信号に繋げて、前記新たな画像信号の可変長符号化処理を行う際の符号化開始時に、
前記記録媒体のデータエリアから読み出した前記所定単位の符号化画像信号に対応した前記制御用パラメータを、可変長符号化処理における初期パラメータとして設定して、前記新たな画像信号の可変長符号化処理を開始させる符号化処理ステップを備えたことを特徴とする画像信号符号化方法。