JP3786340B2

JP3786340B2 - Encoding apparatus and method

Info

Publication number: JP3786340B2
Application number: JP2000108029A
Authority: JP
Inventors: 勝己田原
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1990-02-26
Filing date: 2000-04-05
Publication date: 2006-06-14
Anticipated expiration: 2021-06-14
Also published as: JP2000316160A

Description

【０００１】
【発明の属する技術分野】
本発明は符号化装置及び方法並びに復号化装置及び方法に関し、特に映像信号を高能率符号化して画像データに変換処理する場合に適用して好適なものである。
【０００２】
【従来の技術】
従来、テレビ電話システム、会議電話システムにおいて、動画映像でなる映像信号をフレーム内符号化データ及びフレーム間符号化データに高能率符号化することにより、伝送容量に比較的厳しい制限がある伝送路を通じて動画映像信号を伝送する映像信号伝送システムが提案されている（特開昭63-1183 号公報）。
【０００３】
すなわち、例えば第１０図（Ａ）に示すように、時点ｔ＝ｔ₁、ｔ₂、ｔ₃……において動画を構成する各画像ＰＣ１、ＰＣ２、ＰＣ３……を伝送しようとする場合、映像信号には時間の経過に従って自己相関が大きい特徴がある点を利用して伝送処理すべき画像データを圧縮処理することにより伝送効率を高めるような処理をするもので、フレーム内符号化処理は画像ＰＣ１、ＰＣ２、ＰＣ３……を例えば画素データを所定の基準値と比較して差分を求めるような圧縮処理を実行し、かくして各画像ＰＣ１、ＰＣ２、ＰＣ３……について同一フレーム内における画素データ間の自己相関を利用して圧縮されたデータ量の画像データを伝送する。
【０００４】
またフレーム間符号化処理は、第１０図（Ｂ）に示すように、順次隣合う画像ＰＣ１及びＰＣ２、ＰＣ２及びＰＣ３……間の画素データの差分でなる画像データＰＣ１２、ＰＣ２３……を求め、これを時点ｔ＝ｔ₁における初期画像ＰＣ１についてフレーム内符号化処理された画像データと共に伝送する。
【０００５】
かくして画像ＰＣ１、ＰＣ２、ＰＣ３……をそのすべての画像データを伝送する場合と比較して格段的にデータ量が少ないディジタルデータに高能率符号化して伝送路に送出することができる。
【０００６】
かかる映像信号の符号化処理は、第１１図に示す構成の画像データ発生装置１において実行される。
【０００７】
画像データ発生装置１は入力映像信号ＶＤを前処理回路２において処理することにより片フィールド落し処理及び片フィールドライン間引き処理等の処理をした後、輝度信号及びクロマ信号を16画素（水平方向に）×16画素（垂直方向に）分のデータでなる伝送単位ブロック（これをマクロブロックと呼ぶ）データＳ１１に変換して画像データ符号化回路３に供給する。
【０００８】
画像データ符号化回路３は予測符号化回路４において形成される予測現フレームデータＳ１２を受けてマクロブロックデータＳ１１との差分を求めることによってフレーム間符号化データを発生し（これをフレーム間符号化モードと呼ぶ）、又はマクロブロックデータＳ１１と基準値データとの差分を求めることによりフレーム内符号化データを形成してこれを差分データＳ１３として変換符号化回路５に供給する。
【０００９】
変換符号化回路５はディスクリートコサイン変換回路で構成され、差分データＳ１３を直交変換する（すなわちディスクリートコサイン変換する）ことによって高能率符号化してなる変換符号化データＳ１４を量子化回路６に与えることにより量子化画像データＳ１５を送出させる。
【００１０】
かくして量子化回路６から得られる量子化画像データＳ１５は可変長符号化回路を含んでなる再変換符号化回路７において再度高能率符号化処理された後、伝送画像データＳ１６として伝送バッファメモリ８に供給される。
【００１１】
これに加えて量子化画像データＳ１５は予測符号化回路４において逆量子化、逆変換符号化処理されることより差分データに復号化された後予測前フレームデータを差分データによって修正演算することにより新たな予測前フレームデータを保存すると共に、マクロブロックデータＳ１１に基づいて形成される動き検出データによって予測符号化回路４に保存されている予測前フレームデータを動き補償することにより予測現フレームデータを形成して画像データ符号化回路３に供給できるようになされ、これにより現在伝送しようとするフレーム（すなわち現フレーム）のマクロブロックデータＳ１１と予測現フレームデータＳ１２との差分を差分データＳ１３として得るようになされている。
【００１２】
第１１図の構成において、第１０図について上述した動画像を伝送する場合、先ず第１０図（Ａ）の時点ｔ₁において画像ＰＣ１の画像データがマクロブロックデータＳ１１として与えられたとき、画像データ符号化回路３はフレーム内符号化モードになってこれをフレーム内符号化処理された差分データＳ１３として変換符号化回路５に供給し、これにより量子化回路６、再変換符号化回路７を介して伝送バッファメモリ８に伝送画像データＳ１６を供給する。
【００１３】
これと共に、量子化回路６の出力端に得られる量子化画像データＳ１５が予測符号化回路４において予測符号化処理されることにより、伝送バッファメモリ８に送出された伝送画像データＳ１６を表す予測前フレームデータが前フレームメモリに保持され、続いて時点ｔ₂において画像ＰＣ２を表すマクロブロックデータＳ１１が画像データ符号化回路３に供給されたとき、予測現フレームデータＳ１２に動き補償されて画像データ符号化回路３に供給される。
【００１４】
かくして時点ｔ＝ｔ₂において画像データ符号化回路３はフレーム間符号化処理された差分データＳ１３を変換符号化回路５に供給し、これにより当該フレーム間の画像の変化を表す差分データが伝送画像データＳ１６として伝送バッファメモリ８に供給されると共に、その量子化画像データＳ１５が予測符号化回路４に供給されることにより予測符号化回路４において予測前フレームデータが形成、保存される。
【００１５】
以下同様の動作が繰り返されることにより、画像データ符号化回路３がフレーム間符号化処理を実行している間、前フレームと現フレームとの間の画像の変化を表す差分データだけが伝送バッファメモリ８に順次送出されることになる。
【００１６】
伝送バッファメモリ８はこのようにして送出されて来る伝送画像データＳ１６を溜めておき、伝送路９の伝送容量によって決まる所定のデータ伝送速度で、溜めた伝送画像データＳ１６を順次伝送データＤ_TRANSとして引き出して伝送路９に伝送して行く。
【００１７】
これと同時に伝送バッファメモリ８は残留しているデータ量を検出して当該残留データ量に応じて変化する残量データＳ１７を量子化回路６にフィードバックして残量データＳ１７に応じて量子化ステップサイズを制御することにより、伝送画像データＳ１６として発生されるデータ量を調整することにより伝送バッファメモリ８内に適正な残量（オーバーフロー又はアンダーフローを生じさせないようなデータ量）のデータを維持できるようになされている。
【００１８】
因に伝送バッファメモリ８のデータ残量が許容上限にまで増量して来たとき、残量データＳ１７によって量子化回路６の量子化ステップＳＴＰＳ（第１２図）のステップサイズを大きくすることにより、量子化回路６において粗い量子化を実行させることにより伝送画像データＳ１６のデータ量を低下させる。
【００１９】
これとは逆に伝送バッファメモリ８のデータ残量が許容下限値まで減量して来たとき、残量データＳ１７は量子化回路６の量子化ステップＳＴＰＳのステップサイズを小さい値になるように制御し、これにより量子化回路６において細かい量子化を実行させるようにすることにより伝送画像データＳ１６のデータ発生量を増大させる。
【００２０】
【発明が解決しようとする課題】
このように従来の画像データ発生装置１は、伝送データＤ_TRANSのデータ伝送速度が伝送路９の伝送容量に基づいて制限されている伝送条件に整合させながら有意画像情報を伝送する手段として、発生した画像データを伝送バッファメモリ８に溜め込むようにすることにより常時伝送路９の伝送容量に相当するデータ量の画像データを常時伝送路９の伝送容量の分だけ引き出すことができるように構成されているが、実際上伝送しようとする画像データによって表される信号値が大きい場合にはこれをそのまま量子化すれば信号値が大きい分伝送バッファメモリ８に溜るデータ量が過大になるおそれがあり、実用上適正なデータ量に圧縮できるようにすることが望ましい。
【００２１】
本発明は以上の点を考慮してなされたもので、量子化しようとする画像データに応じて簡易かつ適正に画像データを伝送できると共に、復号化できるようにしようとするものである。
【００２２】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、画像データを符号化することによって符号化画像データを生成する符号化装置において、画像データに対する符号化単位となるマクロブロック毎に動きベクトルデータを生成する手段と、画像データに対して、ディスクリートコサイン変換処理及び量子化処理を施す手段と、ディスクリートコサイン変換処理及び量子化処理が施された画像データ及び動きベクトルデータに対して可変長符号化処理を施す手段と、可変長符号化された画像データに、マクロブロック単位で、可変長符号化された動きベクトルデータをヘッダとして付加することによって、符号化画像データを生成する手段とを設ける。
【００２３】
また本発明においては、符号化画像データを復号化する復号化装置において、符号化画像データに対して可変長復号化処理を施すことによって、可変長復号化画像データを生成するとともに、可変長復号化画像データのヘッダとして付加されている動きベクトルデータを可変長復号化することによって可変長復号化動きベクトルデータを生成する手段と、可変長復号化動きベクトルデータを使用して、可変長復号化された画像データに対して、復号化処理を施す復号化手段とを設ける。
【００２４】
【発明の実施の形態】
以下図面について、本発明をテレビ電話に適用した場合の実施の形態を詳述する。
【００２５】
(G1)画像情報伝送システムの全体構成
第１図及び第２図において画像情報伝送システム２１はエンコーダ２１Ａ及びデコーダ２１Ｂによって構成され、エンコーダ２１Ａは、入力映像信号ＶＤ_INを入力回路部２２において前処理した後、アナログ／ディジタル変換回路２３において16×16画素分の画素データでなる伝送単位ブロックデータ、すなわちマクロブロックＭＢの画素データでなる入力画像データＳ２１を画素データ処理系ＳＹＭ１に送り込むと共に、当該画素データ処理系ＳＹＭ１の各処理段においてマクロブロックＭＢを単位として画素データが処理されるタイミングにおいて当該処理されるデータに対応する処理情報データがヘッダデータ処理系ＳＹＭ２を介して順次伝送されて行くようになされ、かくして画素データ及びヘッダデータがそれぞれ画素データ処理系ＳＹＭ１及びヘッダデータ処理系ＳＹＭ２においてパイプライン方式によって処理されて行く。
【００２６】
この実施例の場合、入力画像データＳ２１として順次送出されて来るマクロブロックデータは、第３図に示すような手法でフレーム画像データＦＲＭから抽出される。
【００２７】
先ず１枚のフレーム画像データＦＲＭは第３図（Ａ）に示すように２個（水平方向に）×６個（垂直方向に）のブロックグループＧＯＢに分割され、各ブロックグループＧＯＢが第３図（Ｂ）に示すように11個（水平方向に）×３個（垂直方向に）のマクロブロックＭＢを含むようになされ、各マクロブロックＭＢは第３図（Ｃ）に示すように16×16画素分の輝度信号データＹ₀₀〜Ｙ₁₁（それぞれ８×８画素分の輝度信号データでなる）及び輝度信号データＹ₀₀〜Ｙ₁₁の全画素データに対応する色信号データでなる色信号データＣ_b及びＣ_rを含んでなる。
【００２８】
かくしてマクロブロックＭＢごとに送出される入力画像データＳ２１は動き補償回路２５に与えられ、動き補償回路２５はヘッダデータ処理系ＳＹＭ２に対して設けられている動き補償制御ユニット２６から与えられる動き検出制御信号Ｓ２２に応動して予測前フレームメモリ２７の予測前フレームデータＳ２３と入力画像データＳ２１とを比較して動きベクトルデータMVD(x)及びMVD(y)を検出して動き補償制御ユニット２６に第１のヘッダデータＨＤ１（第４図）のデータとして供給すると共に、動き補償回路本体２５Ａにおいて予測前フレームデータＳ２３に対して動きベクトルデータMVD(x)及びMVD(y)分の動き補償をすることにより予測現フレームデータＳ２４を形成して現在処理しようとしている入力画像データＳ２１でなる現フレームデータＳ２５と共に画像データ符号化回路２８に供給する。
【００２９】
ここで動き補償制御ユニット２６は、第４図に示すように、第１のヘッダデータＨＤ１として現在処理しているマクロブロックごとに、フレーム画像データＦＲＭの伝送順序を表す伝送フレーム番号データTR Counterと、そのブロックグループＧＯＢ（第３図（Ａ））を表すブロックグループ番号データGOB address と、そのうちのマクロブロックＭＢを表すマクロブロック番号データMB addressとを付加することによって順次画素データ処理系ＳＹＭ１の各処理段に伝送されて行くマクロブロックＭＢを表示するようになされていると共に、当該処理対象マクロブロックＭＢの処理ないし処理形式を表すフラグデータFLAGS と、当該マクロブロックＭＢの動きベクトルデータMVD(x)及びMVD(y)と、その評価値を表す差分データΣ｜Ａ−Ｂ｜と形成する。
【００３０】
フラグデータFLAGS は第５図に示すように、最大限１ワード（16ビット）分のフラグをもち得るようになされ、第０ビットには、当該処理対象マクロブロックＭＢについて動き補償モードで処理すべきか否かを表す動き補償制御フラグMC on/off がセットされる。
【００３１】
またフラグデータFLAGS の第１ビットには、当該処理対象マクロブロックＭＢをフレーム間符号化モードで処理すべきであるか又はフレーム内符号化モードで処理すべきであるかを表すフレーム間／フレーム内フラグInter/Intra がセットされる。
【００３２】
またフラグデータFLAGS の第２ビットには、動き補償回路２５のループフィルタ２５Ｂを使用するか否かを表すフィルタフラグFilter on/off が設定される。
【００３３】
またフラグデータFLAGS の第３ビットには、当該処理対象マクロブロックに含まれるブロックデータＹ₀₀〜Ｃ_r（第３図（Ｃ））を伝送すべきであるか否かを表す送信フラグCoded/Not-coded を設定できるようになされている。
【００３４】
またフラグデータFLAGS の第４ビットには、当該処理対象マクロブロックＭＢを駒落しするか否かを表す駒落しフラグDrop frame flag を設定し得るようになされている。
【００３５】
またフラグデータFLAGS の第５ビットには、当該処理対象マクロブロックＭＢを強制リフレッシュするか否かを表す強制リフレッシュフラグRefresh on/offを設定できるようになされている。
【００３６】
またフラグデータFLAGS の第６ビットには、マクロブロックパワー評価フラグMBP appreciateを設定できるようになされている。
【００３７】
また差分データΣ｜Ａ−Ｂ｜は、現フレームデータＳ２５の現在処理しようとするマクロブロックデータＡと、予測前フレームデータＳ２３の検出用動きベクトルによって補償されたマクロブロックデータＢとの差分のうちの最小値を表し、これにより検出された動きベクトルの評価をなし得るようになされている。
【００３８】
画像データ符号化回路２８はフレーム内符号化モードのとき動き補償回路２５から与えられる現フレームデータＳ２５をそのまま差分データＳ２６として変換符号化回路２９に供給し、これに対してフレーム間符号化モードのとき現フレームデータＳ２５の画素データと予測現フレームデータＳ２４の画素データとの差分でなる差分データＳ２６を変換符号化回路２９に供給する。
【００３９】
ヘッダデータ処理系ＳＹＭ２には画像データ符号化回路２８に対応するようにフレーム間／フレーム内符号化制御ユニット３０が設けられ、動き補償制御ユニット２６から供給されるヘッダデータＨＤ１及び画像データ符号化回路２８から供給される演算データＳ３１に基づいて、画像データ符号化回路２８の符号化モードを指定するためのフレーム間／フレーム内フラグInter/Intra （第５図）及び動き補償回路２５のループフィルタ２５Ｂの動作を制御するためのフィルタフラグFilter on/off （第５図）とを得るのに必要なデータを演算して第２のヘッダデータＨＤ２としてフィルタ制御ユニット３１に送出する。
【００４０】
第２のヘッダデータＨＤ２は、第４図に示すように、ヘッダデータＨＤ１を構成する伝送フレーム番号データTR Counter〜差分データΣ｜Ａ−Ｂ｜をそのまま引き継ぐと共に、フィルタ制御ユニット３１においてフレーム間／フレーム内符号化モード切換信号Ｓ３３及びフィルタオン／オフ信号Ｓ３４を形成するために必要なパワーデータΣ (Ａ)² (Ｌ）及びΣ（Ａ)²（Ｈ）、Σ（Ａ−Ｂ)²（Ｌ）及びΣ（Ａ−Ｂ)²（Ｈ）、Σ（Ａ−ＦＢ)²（Ｌ）及びΣ（Ａ−ＦＢ)²（Ｈ）、Σ（Ａ）をフレーム間／フレーム内符号化制御ユニット３０において付加されるようになされている。
【００４１】
ここで、パワーデータΣ（Ａ)²（Ｌ）及びΣ（Ａ)²（Ｈ）は現フレームデータＳ２５のマクロブロック画素データＡの２乗和の下位ビット及び上位ビットを表し、パワーデータΣ（Ａ−Ｂ)²（Ｌ）及びΣ（Ａ−Ｂ)²（Ｈ）は現フレームデータＳ２５のマクロブロック画素データＡとループフィルタ２５Ｂを介さずに形成された予測現フレームデータＳ２４のマクロブロック画素データＢとの差分Ａ−Ｂの２乗和の下位ビット及び上位ビットを表し、パワーデータΣ（Ａ−ＦＢ)²（Ｌ）及びΣ（Ａ−ＦＢ)²（Ｈ）は現フレームデータＳ２５のマクロブロック画素データＡとループフィルタ２５Ｂを介して形成された予測現フレームデータＳ２４のマクロブロック画素データＦＢとの差分Ａ−ＦＢの２乗和の下位ビット及び上位ビットを表し、パワーデータΣ（Ａ）は現フレームデータＳ２５のマクロブロック画素データＡの和を表し、それぞれ処理するデータの大きさを評価するためにデータ量をパワー値として表現したもの（２乗和は符号に無関係な値として求めた）である。
【００４２】
フィルタ制御ユニット３１は、フレーム間／フレーム内符号化制御ユニット３０から渡された第２のヘッダデータＨＤ２と、伝送バッファメモリ３２から供給される残量データＳ３２とに基づいて、画像データ符号化回路２８に対してフレーム間／フレーム内符号化モード切換信号Ｓ３３を送出すると共に、ループフィルタ２５Ｂに対してフィルタオン／オフ信号Ｓ３４を送出し、さらに当該フィルタオン／オフ信号Ｓ３４の内容を表すフィルタフラグFilter on/off を第２のヘッダデータＨＤ２に付加して第３のヘッダデータＨＤ３としてスレショルド制御ユニット３５に渡す。
【００４３】
ここでフィルタ制御ユニット３１は第１に、フレーム間符号化処理をした場合の伝送データ量の方がフレーム内符号化処理をした場合の伝送データ量より大きくなったとき画像データ符号化回路２８をフレーム内符号化モードに制御する。
【００４４】
またフィルタ制御ユニット３１は第２に、フレーム間符号化モードで処理をしている状態においてループフィルタ２５Ｂにおける処理を受けた予測現フレームデータＳ２４より当該処理を受けない予測現フレームデータＳ２４の方が差分値が小さい場合には、フィルタオン／オフ信号Ｓ３４によってフィルタリング動作をさせないようにループフィルタ２５Ｂを制御する。
【００４５】
またフィルタ制御ユニット３１は第３に、強制リフレッシュモードになったとき、フレーム間／フレーム内符号化モード切換信号Ｓ３３によって画像データ符号化回路２８をフレーム内符号化モードに切り換える。
【００４６】
さらにフィルタ制御ユニット３１は第４に、伝送バッファメモリ３２から供給される残量データＳ３２に基づいて伝送バッファメモリ３２がオーバーフローするおそれがある状態になったとき、これを検出して駒落し処理をすべきことを命令するフラグを含んでなる第３のヘッダデータＨＤ３をスレショルド制御ユニット３５に送出する。
【００４７】
かくして画像データ符号化回路２８は現フレームデータＳ２５と予測現フレームデータＳ２４との差分が最も小さくなるようなモードで符号化してなる差分データＳ２６を変換符号化回路２９に供給する。
【００４８】
第３のヘッダデータＨＤ３は、第４図に示すように、ヘッダデータＨＤ２から伝送フレーム番号データTR Counter〜動きベクトルデータMVD(x)及びMVD(y)を引き継ぐと共に、フィルタ制御ユニット３１においてブロックデータＹ₀₀〜Ｃ_rに対応する６ビット分のフィルタフラグFilter on/off を付加される。
【００４９】
変換符号化回路２９はディスクリートコサイン変換回路でなり、ディスクリートコサイン変換後のディスクリートコサイン変換係数値を６個のブロックＹ₀₀、Ｙ₀₁、Ｙ₁₀、Ｙ₁₁、Ｃ_b、Ｃ_rごとにジグザグスキヤンしてなる変換符号化データＳ３５として伝送ブロック設定回路３４に送出する。
【００５０】
伝送ブロック設定回路３４は変換符号化データＳ３５として送出されて来る６個のブロックデータＹ₀₀〜Ｃ_r（第３図（Ｃ））について、それぞれ先頭の係数データからｎ個までの２乗和を演算して当該演算結果をパワー検出データＳ３６としてスレショルド制御ユニット３５に渡す。
【００５１】
このときスレショルド制御ユニット３５は各ブロックデータＹ₀₀〜Ｃ_rごとにパワー検出データＳ３６を所定のスレショルドと比較し、パワー検出データＳ３６が当該スレショルドより小さいとき当該ブロックデータの伝送を許容せず、これに対して大きいとき許容することを表す６ビット分の送信可否フラグデータＣＢＰＮを形成してこれをフィルタ制御ユニット３１から渡された第３のヘッダデータＨＤ３に付加して第４のヘッダデータＨＤ４として量子化制御ユニット３６に渡すと共に、伝送ブロック設定回路３４から対応するブロックデータＹ₀₀〜Ｃ_rを量子化回路３７に送信ブロックパターン化データＳ３７として送出させる。
【００５２】
ここで第４のヘッダデータＨＤ４は第４図に示すように、ヘッダデータＨＤ３の伝送フレーム番号データTR Counter〜フィルタフラグFilter on/off をそのまま引き継ぐと共に、スレショルド制御ユニット３５においてブロックＹ₀₀〜Ｃ_rに対応して発生する６ビット分の送信可否フラグＣＢＰＮが付加される。
【００５３】
量子化制御ユニット３６はスレショルド制御ユニット３５から渡された第４のヘッダデータＨＤ４と、伝送バッファメモリ３２から送出される残量データＳ３２とに基づいて第６図に示す量子化ステップサイズ決定処理ルーチンＲＴ０を実行することにより量子化ステップサイズ制御信号Ｓ３８を量子化回路３７に与え、これにより量子化回路３７をマクロブロックＭＢに含まれるデータに適応した量子化ステップサイズで量子化処理させ、その結果量子化回路３７の出力端に得られる量子化画像データＳ３９を可変長符号化回路３８に供給させる。
【００５４】
これと共に量子化制御ユニット３６は、第４図に示すように、第５のヘッダデータＨＤ５として、ヘッダデータＨＤ４に基づいてブロックデータＹ₀₀〜Ｃ_r（第３図（Ｃ））にそれぞれ対応するフラグデータFLAGS 及び動きベクトルデータMVD(x)及びMVD(y)に分離してこれを直列に配列させたデータを形成して可変長符号化回路３８及び逆量子化回路４０に渡す。
【００５５】
ここで、ヘッダデータＨＤ５は、第４図に示すように、ヘッダデータＨＤ４のうち伝送フレーム番号データTR Counter〜マクロブロック番号データMB addressをそのまま引き継ぐと共に、量子化制御ユニット３６において量子化サイズデータQNT と、ブロックデータＹ₀₀〜Ｃ_rに対するフラグデータFLAGS 、動きベクトルデータMVD(x)及びMVD(y)を付加する。
【００５６】
可変長符号化回路３８はヘッダデータＨＤ５及び量子化画像データＳ３９を可変長符号化処理して伝送画像データＳ４０を形成し、これを伝送バッファメモリ３２に供給する。
【００５７】
可変長符号化回路３８はブロックデータＹ₀₀〜Ｃ_rを可変長符号化する際に、対応するフラグデータFLAGS に基づいて「駒落し」、又は「送信不可」が指定されているとき、当該ブロックデータを伝送画像データＳ４０として送出させずに捨てるような処理をする。
【００５８】
伝送バッファメモリ３２は伝送画像データＳ４０を溜め込んで行くと共に、これを所定の伝送速度で読み出してマルチプレクサ４１において音声データ発生装置４２から送出される伝送音声データＳ４１と合成して伝送路４３に送出する。
【００５９】
逆量子化回路４０は量子化回路３７から送出される量子化画像データＳ３９をヘッダデータＨＤ５に基づいて逆量子化した後、当該逆量子化データＳ４２を逆変換符号化回路４３に供給することにより逆変換符号化データＳ４３に変換させた後デコーダ回路４４に供給させ、かくして伝送画像データＳ４０として送出された画像情報を表す符号化差分データＳ４４を予測前フレームメモリ２７に供給させる。
【００６０】
このとき予測前フレームメモリ２７は、符号化差分データＳ４４を用いてそれまで保存していた予測前フレームデータを修正演算して新たな予測前フレームデータとして保存する。
【００６１】
かくして第１図の構成のエンコーダ２１Ａによれば、ヘッダデータ処理系ＳＹＭ２から供給されるヘッダ情報に基づいて画素データ処理系ＳＹＭ１において画素データがマクロブロック単位でパイプライン処理されて行くのに対して、これと同期するようにヘッダデータ処理系ＳＹＭ２においてヘッダデータを受け渡して行くようにすることにより、ヘッダデータ処理系ＳＹＭ２の各処理段において必要に応じてヘッダデータを付加又は削除することにより画素データを必要に応じて適応処理できる。
【００６２】
デコーダ２１Ｂは第２図に示すように、伝送路４３を介してエンコーダ２１Ａから伝送されて来る伝送データをデマルチプレクサ５１を介して伝送バッファメモリ５２に受けると共に、伝送音声データＳ５１を音声データ受信装置５３に受ける。
【００６３】
伝送バッファメモリ５２に受けた画像データは可変長逆変換回路５４において受信画像データＳ５２及びヘッダデータＨＤ１１に分離され、逆量子化回路５５において逆量子化データＳ５３に逆量子化された後逆変換符号化回路５６においてデイスクリート逆変換処理されて逆変換符号化データＳ５４に逆変換される。
【００６４】
この逆変換符号化データＳ５４は逆量子化回路５５において形成されたヘッダデータＨＤ１２と共にデコーダ回路５７に与えられ、符号化差分データＳ５５としてフレームメモリ５８に蓄積される。
【００６５】
かくしてフレームメモリ５８には符号化差分データＳ５５に基づいて伝送されて来た画像データが復号化され、当該復号化画像データＳ５６がディジタル／アナログ変換回路５９においてアナログ信号に変換された後出力回路部６０を介して出力映像信号ＶＤ_OUTとして送出される。
【００６６】
(G2)量子化ステップサイズ決定処理
量子化制御ユニット３６は第６図に示す量子化ステップサイズ決定処理ルーチンＲＴ０をマクロブロックＭＢごとに実行することによって現在処理しようとしているマクロブロックＭＢがもつ画像データの形式（これをマクロブロックタイプと呼ぶ）に適応するような量子化ステップサイズQNT を選定して量子化ステップサイズ制御信号Ｓ３８として量子化回路３７に供給することにより、マクロブロックタイプによっては生ずるおそれがある画質の乱れを生じさせないように量子化回路３７を制御する。
【００６７】
この実施例の場合量子化回路３７は第７図に示すように、量子化ステップサイズQNT として上限値QNT ＝31から下限値QNT ＝１までの段階を可変できるようになされ、量子化制御ユニット３６は伝送バッファメモリ３２のデータ残量Bufferが量子化ステップサイズQNT の可変制御範囲に相当する値、すなわち量子化サイズ可制御範囲QCR の範囲に入るような適正の値になるように量子化ステップサイズQNT の値をマクロブロックタイプMacro Block Typeに応じて適応制御する。
【００６８】
(G2-1)データ残量が過大の場合の処理
すなわち量子化制御ユニット３６は第６図の量子化ステップサイズ決定処理ルーチンＲＴ０に入ると、ステップＳＰ１において伝送バッファメモリ３２の残量データBufferがマージンMargine と量子化サイズ可制御範囲QCR との和より大きいか否かの判断をする。
【００６９】
ここで肯定結果が得られると、このことは伝送バッファメモリ３２のデータ残量Bufferが上限値を超えていることを意味し、このとき量子可制御ユニット３６はステップＳＰ２に移って量子化ステップサイズQNT を最大値、すなわちQNT ＝31に設定するような量子化ステップサイズ制御信号Ｓ３８を量子化回路３７に供給した後、ステップＳＰ３に移って現在設定した量子化ステップサイズQNT を前フレーム量子化ステップサイズPQNTとして保存する。
【００７０】
かくして量子化制御ユニット３６は当該量子化ステップサイズ決定処理ルーチンＲＴ０をステップＳＰ４において終了し、これにより量子化回路３７において最も粗い量子化ステップサイズで変換符号化データＳ３５の量子化を実行する。
【００７１】
この結果量子化回路３７から発生される量子化画像データＳ３９のデータ量は最も小さい値に制御されることにより、伝送バッファメモリ３２のデータ残量Bufferは低下して行く。
【００７２】
この動作はステップＳＰ１において肯定結果が得られる間繰り返し実行され、その結果やがて伝送バッファメモリ３２の残量データがマージンMargine 及び量子化サイズ可制御範囲QCR の和QCR ＋Margine より小さい値になる。
【００７３】
(G2-2)フレーム内符号化モードにおける処理
このような状態になると、量子化制御ユニット３６はステップＳＰ１において否定結果が得られることによりステップＳＰ５に移り、マクロブロックタイプMacro Block Typeがフレーム内符号化ブロックであり、かつ強制リフレッシュブロックではないブロックnot refresh block であるか否かの判断をする。
【００７４】
ここでマクロブロックタイプMacro Block Typeは、第８図に示すように、スレショルド制御ユニット３５から量子化制御ユニット３６に渡されるヘッダデータＨＤ４に含まれるフラグデータFLAGS の第２ビット、第１ビット、第０ビットによって表されており、これらのビットが「０１０」のときマクロブロックタイプはフレーム内符号化型Intra であり、「０００」のときフレーム間符号化型Inter であり、「００１」のときフィルタ不使用動き補償型MC-not filtered であり、「１０１」のときフィルタ使用動き補償型MC-filtered になる。
【００７５】
そこでステップＳＰ５において肯定結果が得られたとき、このことはフラグデータFLAGS の第２、第１、第０ビットが「０００」であり、かつ第４ビットの強制リフレッシュフラグrefresh が論理「０」の状態にあることを表している。
【００７６】
ところでこのような状態は、マクロブロックタイプがフィルタ内符号化を必要とする程前フレームに対する現フレームの変化が激しいことを意味しており、しかも現在は強制リフレッシュモードが指定されていないような条件下にあることを意味している。
【００７７】
このような条件下にあるとき量子化回路３７において細かい量子化ステップサイズで量子化をすれば量子化回路３７から発生される量子化画像データＳ３９のデータ量が極く大きい値になり、結局バッファメモリ３２にオーバーフローが生ずるおそれが近づいていると言って良い。
【００７８】
このとき量子化制御ユニット３６はステップＳＰ６に移って量子化ステップサイズQNT を上限値QNT ＝31に設定し、これにより量子化回路３７から発生する量子化データＳ３９のデータ量を抑制するような処理を実行し、その結果伝送バッファメモリ３２がオーバーフローする状態の発生を未然に回避させる。
【００７９】
これに対してステップＳＰ５において否定結果が得られたとき、このことは処理対象マクロブロックのタイプがフレーム内符号化型Intra ではないこと、又はフレーム内符号化型Intra であっても強制リフレッシュの結果生じたものであることを表しており、このとき量子化制御ユニット３６はステップＳＰ６の処理をせずにこれをジャンプする。
【００８０】
(G2-3)強制リフレッシュモードにおける処理
次に量子化制御ユニット３６はステップＳＰ７において処理対象マクロブロックのタイプが強制リフレッシュ型refresh block であるか否かの判断をする。
【００８１】
ここで肯定結果が得られると、このことは強制リフレッシュをすべきことが指定されたことを表しており、このとき量子化制御ユニット３６はステップＳＰ８に移って量子化ステップサイズQNT として前フレームの量子化処理の際に用いられた前フレーム量子化ステップサイズPQNTを設定し、これにより強制リフレッシュ処理を実行すべきことが指定されたときには前フレームと同じ量子化ステップサイズで量子化を実行するようにする。
【００８２】
このようにすれば、強制リフレッシュ処理を実行する際に、当該強制リフレッシュ処理をした際にこれが実用上目障りにならないように画質を変化させないようにすることができる。
【００８３】
因に強制リフレッシュは所定の周期でしかも画像の内容とは無関係に実行されるので、画像の内容には変化がないにもかかわらず前フレームと比較して量子化ステップサイズの値が変化すると当該変化が目障りになる場合が多い。
【００８４】
これに対して強制リフレッシュが指定されたとき量子化ステップサイズの値を変更しないようにすれば、当該リフレッシュの際に目障りな画像の変化を生じさせないようにできる。
【００８５】
なお量子化ステップサイズの値として同じ値を選定することに代えて少し小さい値を選定するようにしても上述の場合と同様の効果を得ることができる。
【００８６】
因に画像の変化がない状態において強制リフレッシュが指定されたとき、量子化ステップサイズを大きくすれば、このことは復元画像の画質を劣化させることになるのに対して、量子化ステップサイズを少し小さくすれば、復元画像の画質を少し改善できることにより実用上人の目には画像の変化として感じさせないようにし得る。
【００８７】
これに対してステップＳＰ７において否定結果が得られると、このことは現在強制リフレッシュの指定がされていないことを表しており、このとき量子化制御ユニット３６はステップＳＰ８おける処理をせずにこれをジャンプする。
【００８８】
(G2-4)差分データのパワーが大きい場合の処理
次に量子化制御ユニット３６はステップＳＰ９においてマクロブロックタイプがフレーム間符号化型Inter でありかつマクロブロックパワーMBP が所定のスレショルド値Threshold より大きいか否かの判断をする。
【００８９】
ここで、マクロブロックパワーMBP は、
【００９０】
【数１】

【００９１】
によって定義され、かくしてステップＳＰ９において肯定結果が得られると、このことは当該マクロブロックＭＢの画像データ、すなわち差分データのマクロブロックパワーMBP が大きいために、ある程度粗い量子化ステップサイズで量子化して伝送しても復元画像の画質が極端に劣化するような影響は生じない状態にあることを意味する。
【００９２】
そこで量子化制御ユニット３６はこのような条件を満足するマクロブロックが変換符号化回路２９においてディスクリートコサイン変換されたときには、これをステップＳＰ９において確認してステップＳＰ１０に移って量子化ステップサイズQNT を最も粗い値、すなわち上限値31に設定する。
【００９３】
これに対してマクロブロックパワーMBP がそれ程大きくないマクロブロックの変換符号化データＳ３５が送出された場合には、量子化制御ユニット３６はステップＳＰ１０の処理をしないようにこれをジャンプする。
【００９４】
ところで、（１）式によって表されるマクロブロックパワーMBP は、変換符号化回路２９におけるディスクリートコサイン変換処理の結果得られるディスクリートコサイン変換係数Ｃ_oeff（ｉ）に基づいて各マクロブロックの重みを演算しようとするもので、当該ディスクリートコサイン変換係数の重みはディスクリートコサイン変換することによって得られた伝送信号の強さを表しており、従ってマクロブロックパワーMBP が大きいことは信号伝送手段としての伝送信号の強さが大きいから、これを若干圧縮して伝送しても受信側において外来雑音に影響されることなく伝送情報を正しく再現できることを表している。
【００９５】
そこでこのような場合量子化制御ユニット３６は量子化ステップサイズQNT を大きい値に変更することにより量子化回路３７において発生される量子化データＳ３９のデータ量を圧縮することにより伝送路４３への負担を軽減するようにする。
【００９６】
因に変換符号化回路２９を構成するディスクリートコサイン変換回路は次式、
【００９７】
【数２】

【００９８】
によってディスクリートコサイン変換を実行すると共に、逆変換符号化回路５６を形成するディスクリートコサイン逆変換回路は次式、
【００９９】
【数３】

【０１００】
によってディスクリートコサイン逆変換を実行する。ここでｘ、ｙはマクロブロックにおける画素の座標（左上隅の座標（０、０）とする）、ｕ、ｖはディスクリートコサイン変換時の係数の座標を表す。
【０１０１】
またｕ、ｖ＝０のとき、
【０１０２】
【数４】

【０１０３】
になり、その他の場合には、
【０１０４】
【数５】

【０１０５】
のようになる。
【０１０６】
（２）式及び（３）式の変換は実際上、Ｘをマクロブロック内の画像データ行列、Ｃをディスクリートコサイン変換時の変換行列とした場合、変換符号化回路２９においては先ず、画像データ行列Ｘを水平変換することにより変換画像データ行列ＸＣ^-1を得た後、次に再度垂直変換処理をすることにより変換画像データ行列Ｃ（Ｘ）Ｃ^-1を得る。
【０１０７】
かくして得られる変換画像データ行列Ｃ（Ｘ）Ｃ^-1は、第９図に示すように、係数Ｃ_oeff（１）、Ｃ_oeff（２）、Ｃ_oeff（３）……Ｃ_oeff（64）が８×８行列でなる変換係数行列として表すことができ、当該変換係数行列の各係数Ｃ_oeff（ｉ）（ｉ＝１〜64）を時間の経過に従って変換行列の中からｉ＝１、２、３……64の順序でスキャンをしながら読み出して行く。
【０１０８】
かくして１マクロブロック分の画像データは変換行列を構成する変換係数Ｃ_oeff（ｉ）（ｉ＝１〜64）に変換され、これが時間直列的に配列された伝送データとして量子化回路３７に供給されることになる。
【０１０９】
かくして量子化回路３７に供給される変換係数データ列Ｃ_oeff（１）、Ｃ_oeff（２）……Ｃ_oeff（64）は、伝送しようとする情報を表していると共に、伝送しようとする信号の強さをも表しており、従って（１）式によって表されているように、変換係数データ列Ｃ_oeff（ｉ）（ｉ＝１、２……64）に含まれるｉ＝１〜ｎまでの変換係数データの２乗は、伝送しようとする信号の強さを水平方向及び垂直方向の影響が等しくなるように累積加算した値となり、結局（１）式はこれをマクロブロックパワーMBP として定義していることになる。
【０１１０】
実際上画像データをディスクリートコサイン変換することにより第９図に示すような変換係数行列を得た場合、左上隅部の変換係数Ｃ_oeff（ｉ）、すなわち低次の変換係数にパワーが集中し、これに対して右下隅部の変換係数、すなわち高次の変換係数には有意情報が生じない傾向があり、かくしてディスクリートコサイン変換によって伝送データの圧縮を実現できる。
【０１１１】
従って第６図のステップＳＰ９においてマクロブロックタイプMacro Block Typeがフレーム間符号化型Inter であることを確認したとき、（１）式に基づいて得られるマクロブロックパワーMBP が所定のスレショルド値Threshold より大きいことを確認できれば、このことは当該マクロブロックＭＢにおける差分データの値が十分に大きく、従って粗い量子化をしても良いことを確認し得たことになる。そこでかかる判断に従ってステップＳＰ１０において量子化ステップサイズQNT を上限値に選定すれば、当該差分データを比較的少ないデータ量によって伝送できることになる。
【０１１２】
(G2-5)フレーム間符号化モードにおける処理
量子化制御ユニット３６は第６図のステップＳＰ１１において、マクロブロックタイプMacro Block Typeがフレーム間符号化型Inter でありかつマクロブロックパワーMBP が所定のスレショルド値Threshold より小さいことを確認したときステップＳＰ１２に移って量子化ステップサイズQNT を前フレームにおいて使用された前フレーム量子化ステップサイズPQNTの 1/2の値に設定し、その後ステップＳＰ１３において当該設定した量子化ステップサイズQNT の値が下限値１より小さいか否かを判断し、小さいときステップＳＰ１４において量子化ステップサイズQNT を下限値１に再設定し直すと共に、１より小さくない時には再設定することなくそのままの値を量子化ステップサイズQNT として設定するような処理をする。
【０１１３】
ここでマクロブロックパワーMBP は（１）式について上述したように当該マクロブロックの画像データの差分データ信号の強さを表しているので、ステップＳＰ１１において肯定結果が得られたときには当該差分が小さいこと、従って画像の内容が前フレームの画像と比較して変化が小さいことを表している。
【０１１４】
このような画像データが得られた場合には、現在伝送しようとする画像は、前フレームの画像を大幅に変更することなく部分的に手直しする程度の変化しか生じていない状態にあることを表している。
【０１１５】
そこで量子化制御ユニット３６がステップＳＰ１２において前フレームの量子化処理結果に基づいてその量子化ステップサイズPQNTを 1/2に細かくして現フレームの量子化ステップサイズQNT として設定するようにすれば、前フレームと比較して動きが少なくなった現フレームに対して当該変化が少なくなった分量子化ステップサイズを細かくできることにより、一段と最適な量子化ステップサイズに設定できることになる。
【０１１６】
このような量子化ステップサイズの縮小化処理はその後動きが少ない画像が続く限り量子化制御ユニット３６がステップＳＰ１１及びＳＰ１２において繰り返し実行するので、結局動きが少ない画像を伝送し続ける場合にはこれに適応するような値に量子化ステップサイズを収束させることができることになる。
【０１１７】
かくするにつき、ステップＳＰ１３及びＳＰ１４において量子化ステップサイズQNT を下限値１より小さくさせないようにしたことにより、結局量子化制御ユニット３６は動きが少ない画像を伝送する場合には量子化ステップサイズQNT を下限値に収束させた状態で安定に量子化処理をできることになる。
【０１１８】
これに対してステップＳＰ１１において否定結果が得られたとき、量子化制御ユニット３６は現在伝送しようとする画像の変化が大きいと判断してステップＳＰ１２、ＳＰ１３、ＳＰ１４の処理をせずにこれをジャンプする。
【０１１９】
(G2-6)量子化制御ユニット３６の動作
第６図において、第１に、伝送バッファメモリ３２の残量データBufferが上限値（QCF ＋Margin）を超えると、量子化制御ユニット３６はこれをステップＳＰ１において検出してステップＳＰ２において量子化回路３７の量子化ステップサイズQNT を上限値31に設定し、これにより伝送バッファメモリ３２のデータ残量データBufferを低減させることにより上限値以下の状態に維持させるように制御する。
【０１２０】
この状態において第２に、マクロブロックタイプMacro Block Typeがフレーム内符号化型でかつ強制リフレッシュブロックではないブロックデータが量子化回路３７に与えられたとき量子化制御ユニット３６はこれをステップＳＰ５において確認してステップＳＰ６において量子化回路３７の量子化ステップサイズQNT を上限値31に設定することにより伝送バッファメモリ３２がオーバーフローしないように制御する。
【０１２１】
このような動作モードのとき量子化制御ユニット３６はステップＳＰ７、ＳＰ９、ＳＰ１１においてそれぞれ否定結果が得られることにより、ステップＳＰ６において設定した量子化ステップサイズをステップＳＰ３において前フレーム量子化ステップサイズPQNTとして設定した後当該処理手順を終了する。
【０１２２】
第３に、量子化回路３７に強制リフレッシュブロック型のマクロブロックタイプをもつデータが与えられたとき、量子化制御ユニット３６は量子化ステップサイズ決定処理ルーチンＲＴ０においてステップＳＰ１−ＳＰ５−ＳＰ７のループによってこれを判断し、ステップＳＰ８において量子化回路３７の量子化ステップサイズQNT として前フレーム量子化ステップサイズPQNTを設定し、これにより強制リフレッシュモードに入ったときに伝送する画像の画質を前フレームの画像から変化させないようにすることにより、強制リフレッシュ時に目障りな画質の変化を生じさせないようにする。
【０１２３】
このとき量子化制御ユニット３６はステップＳＰ９、ＳＰ１１においてそれぞれ否定結果が得られることによりステップＳＰ８において設定した量子化ステップサイズQNT をステップＳＰ３において前フレーム量子化ステップサイズPQNTとして設定して当該処理を終了する。
【０１２４】
第４に、量子化回路３７にマクロブロックパワーMBP が大きなマクロブロックの画像データが供給されたとき、量子化制御ユニット３６は量子化ステップサイズ決定処理ルーチンＲＴ０においてステップＳＰ１−ＳＰ５−ＳＰ７−ＳＰ９のループによってこれを確認し、ステップＳＰ１０において量子化回路３７の量子化ステップサイズQNT を上限値31に設定し、これにより、量子化回路３７において発生するデータ量を小さい値に抑制し、その結果一段と効率良く画像データの伝送をさせるようにできる。
【０１２５】
このとき量子化制御ユニット３６はかかる処理が終了した後、ステップＳＰ１１において否定結果が得られることによりステップＳＰ３においてステップＳＰ１０で設定された量子化ステップサイズQNT を前フレーム量子化ステップサイズPQNTとして設定し直した後、当該処理ルーチンを終了する。
【０１２６】
第５に、量子化回路３７にフレーム間符号化型でマクロブロックパワーMBP が小さいマクロブロックデータが供給されたとき量子化制御ユニット３６はこれを量子化ステップサイズ決定処理ルーチンＲＴ０のステップＳＰ１−ＳＰ５−ＳＰ７−ＳＰ９−ＳＰ１１のループによって確認し、ステップＳＰ１２において前フレーム量子化ステップサイズPQNTの 1/2の値を量子化ステップサイズQNT として設定することにより、量子化ステップサイズを下限値１に収束させて行く。
【０１２７】
かくしてマクロブロックパワーMBP に適用して最適な量子化ステップサイズを設定することができる。
【０１２８】
(G3)他の実施例
(1) 第６図のステップＳＰ６及びＳＰ１０において量子化ステップサイズQNT を上限値31に設定した場合について述べたが、設定する量子化ステップサイズQNT としては上限値に限らず、その他の値を選定しても良く、要は、粗い量子化を実行し得る大きさの粗量子化値を選定するようにすれば良い。
【０１２９】
(2) 第６図のステップＳＰ９及びＳＰ１１においてマクロブロックパワーMBP の大きさを判断するにつき、同じスレショルド値Threshold を選定するようにした場合について述べたが、これに代え、異なる値を選定するようにしても上述の場合と同様の効果を得ることができる。
【０１３０】
(3) 第６図のステップＳＰ１２において量子化ステップサイズQNT を前フレーム量子化ステップサイズPQNTから求めるにつき、その 1/2の値を設定するようにした場合について述べたが、その比率は 1/2に限らず必要に応じて他の値に変更しても良く、要は前フレーム量子化ステップサイズに対して所定の比率で縮小した大きさの量子化ステップサイズに選定すれば良い。
【０１３１】
(4) 第６図のステップＳＰ１３及びＳＰ１４において量子化ステップサイズQNT を下限値１に収束させるようにした場合について述べたが、収束させる値は下限値に限らず必要に応じてその他の値を選定するようにしても良い。
【０１３２】
【発明の効果】
上述のように本発明によれば、可変長符号化された画像データに、マクロブロック単位で、可変長符号化された動きベクトルデータ及び量子化ステップサイズデータをヘッダとして付加すると共に、強制リフレッシュ型のマクロブロックタイプをもつ画像データが来たとき、前フレームの量子化ステップサイズを保持することにより、略同じステップサイズで強制リフレッシュ型のマクロブロックを量子化することによって、符号化画像データを生成して伝送、復号するようにしたことにより、画面の変化が激しい画像データであっても、常に簡易かつ適正に画像データを伝送すると共に、復号化することができる。
【図面の簡単な説明】
【図１】本発明による映像信号符号化方法を適用した画像情報伝送システムを構成するエンコーダを示すブロック図である。
【図２】本発明による映像信号符号化方法を適用した画像情報伝送システムを構成するデコーダを示すブロック図である。
【図３】フレーム画像データの構成を示す略線図である。
【図４】図１のヘッダデータ処理系を示すブロック図である。
【図５】図４のフラグデータの構成を示す略線図である。
【図６】図１の量子化制御ユニット３６の量子化ステップサイズ決定処理ルーチンを示すフローチャートである。
【図７】図１の伝送バッファメモリ３２の残量データの変化を示す曲線図である。
【図８】マクロブロックタイプの類型を示す図表である。
【図９】変換係数行列を示す図表である。
【図１０】フレーム内／フレーム間符号化処理の説明に供する略線図である。
【図１１】従来の画像データ発生装置を示すブロック図である。
【図１２】その量子化ステップを示す曲線図である。
【符号の説明】
２１……画像情報伝送システム、２１Ａ……エンコーダ、２１Ｂ……デコーダ、２５……動き補償回路、２６……動き補償制御ユニット、２７……予測前フレームメモリ、２８……画像データ符号化回路、２９……変換符号化回路、３０……フレーム間／フレーム内符号化制御ユニット、３１……フィルタ制御ユニット、３２……伝送バッファメモリ、３４……伝送ブロック設定回路、３５……スレショルド制御ユニット、３６……量子化制御ユニット、３７……量子化回路、３８……可変長符号化回路。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an encoding apparatus and method, and a decoding apparatus and method, and is particularly suitable for application to a case where a video signal is highly efficient encoded and converted into image data.
[0002]
[Prior art]
Conventionally, in a videophone system and a conference phone system, a video signal composed of a moving image is efficiently encoded into intra-frame encoded data and inter-frame encoded data, so that the transmission capacity is relatively limited. A video signal transmission system for transmitting moving image signals has been proposed (Japanese Patent Laid-Open No. 63-1183).
[0003]
That is, for example, as shown in FIG. ₁ , T ₂ , T _Three When transmitting each image PC1, PC2, PC3,... Constituting a moving image at..., The image data to be transmitted is processed by utilizing the fact that the video signal has a characteristic that autocorrelation increases with time. This is a process for improving the transmission efficiency by performing the compression process, and the intra-frame coding process is a compression in which the image data PC1, PC2, PC3,... Is compared with, for example, pixel data with a predetermined reference value to obtain a difference. Thus, the image data of the compressed data amount is transmitted using the autocorrelation between the pixel data in the same frame for each of the images PC1, PC2, PC3.
[0004]
In addition, as shown in FIG. 10 (B), the inter-frame encoding process obtains image data PC12, PC23... Which are pixel data differences between adjacent images PC1 and PC2, PC2 and PC3. This is the time t = t ₁ The initial image PC1 is transmitted together with the image data subjected to the intraframe coding process.
[0005]
Thus, the images PC1, PC2, PC3,... Can be encoded with high efficiency into digital data with a much smaller amount of data compared to the case of transmitting all the image data, and sent to the transmission line.
[0006]
Such video signal encoding processing is executed in the image data generating apparatus 1 having the configuration shown in FIG.
[0007]
The image data generator 1 processes the input video signal VD in the pre-processing circuit 2 to perform processing such as one-field dropping processing and one-field line thinning processing, and then processing the luminance signal and chroma signal to 16 pixels (in the horizontal direction). The transmission unit block (referred to as a macroblock) data S11 composed of data for × 16 pixels (in the vertical direction) is converted and supplied to the image data encoding circuit 3.
[0008]
The image data encoding circuit 3 receives the predicted current frame data S12 formed in the predictive encoding circuit 4 and obtains a difference from the macroblock data S11 to generate interframe encoded data (this is converted into interframe encoding). (Referred to as a mode), or by calculating the difference between the macroblock data S11 and the reference value data, the intra-frame encoded data is formed and supplied to the transform encoding circuit 5 as difference data S13.
[0009]
The transform coding circuit 5 is composed of a discrete cosine transform circuit, and provides the quantized circuit 6 with transform coded data S14 obtained by performing high-efficiency coding by orthogonally transforming the difference data S13 (that is, performing discrete cosine transform). The quantized image data S15 is transmitted.
[0010]
Thus, the quantized image data S15 obtained from the quantizing circuit 6 is subjected to high-efficiency encoding processing again in the reconversion encoding circuit 7 including the variable length encoding circuit, and then transmitted to the transmission buffer memory 8 as transmission image data S16. Supplied.
[0011]
In addition to this, the quantized image data S15 is subjected to inverse quantization and inverse transform coding processing in the predictive coding circuit 4, and after decoding into differential data, the pre-prediction frame data is corrected by the differential data. The new pre-prediction frame data is stored, and the pre-prediction frame data stored in the prediction encoding circuit 4 is motion-compensated by the motion detection data formed based on the macroblock data S11. So that the difference between the macroblock data S11 of the frame to be transmitted (that is, the current frame) and the predicted current frame data S12 can be obtained as the difference data S13. Has been made.
[0012]
In the configuration of FIG. 11, when the moving image described above with reference to FIG. 10 is transmitted, first, at time t in FIG. ₁ When the image data of the image PC1 is given as the macroblock data S11, the image data encoding circuit 3 enters the intraframe encoding mode, and this is converted into the difference data S13 subjected to the intraframe encoding process, and the transform encoding circuit 5 As a result, the transmission image data S16 is supplied to the transmission buffer memory 8 via the quantization circuit 6 and the retransform coding circuit 7.
[0013]
At the same time, the quantized image data S15 obtained at the output terminal of the quantizing circuit 6 is subjected to predictive coding processing in the predictive coding circuit 4, thereby pre-predicting the transmission image data S16 sent to the transmission buffer memory 8. Frame data is held in the previous frame memory, followed by time t ₂ When the macroblock data S11 representing the image PC2 is supplied to the image data encoding circuit 3, the motion compensation is performed on the predicted current frame data S12 and the image data encoding circuit 3 is supplied.
[0014]
Thus time t = t ₂ The image data encoding circuit 3 supplies the difference data S13 subjected to the inter-frame encoding process to the transform encoding circuit 5, whereby the difference data representing the change in the image between the frames is transmitted as the transmission image data S16 in the transmission buffer memory. 8 and the quantized image data S15 is supplied to the predictive encoding circuit 4 so that pre-prediction frame data is formed and stored in the predictive encoding circuit 4.
[0015]
Thereafter, by repeating the same operation, while the image data encoding circuit 3 executes the inter-frame encoding process, only the difference data representing the change in the image between the previous frame and the current frame is stored in the transmission buffer memory. 8 are sequentially sent out.
[0016]
The transmission buffer memory 8 stores the transmission image data S16 sent out in this way, and sequentially stores the transmission image data S16 stored at a predetermined data transmission rate determined by the transmission capacity of the transmission path 9. _TRANS And then transmitted to the transmission line 9.
[0017]
At the same time, the transmission buffer memory 8 detects the remaining amount of data, feeds back the remaining amount data S17 that changes according to the remaining amount of data to the quantization circuit 6, and performs a quantization step according to the remaining amount data S17. By controlling the size, by adjusting the amount of data generated as the transmission image data S16, it is possible to maintain an appropriate remaining amount of data (data amount that does not cause overflow or underflow) in the transmission buffer memory 8. It is made like that.
[0018]
Incidentally, when the remaining amount of data in the transmission buffer memory 8 has increased to the allowable upper limit, by increasing the step size of the quantization step STPS (FIG. 12) of the quantization circuit 6 by the remaining amount data S17, By performing coarse quantization in the quantization circuit 6, the data amount of the transmission image data S16 is reduced.
[0019]
On the contrary, when the remaining data amount of the transmission buffer memory 8 is reduced to the allowable lower limit value, the remaining amount data S17 is controlled so that the step size of the quantization step STPS of the quantization circuit 6 becomes a small value. Thus, by causing the quantization circuit 6 to perform fine quantization, the data generation amount of the transmission image data S16 is increased.
[0020]
[Problems to be solved by the invention]
As described above, the conventional image data generating apparatus 1 transmits the transmission data D. _TRANS As a means for transmitting significant image information while matching the transmission conditions in which the data transmission speed is limited based on the transmission capacity of the transmission line 9, the generated image data is always stored in the transmission buffer memory 8. The image data having a data amount corresponding to the transmission capacity of the transmission path 9 is configured to be always extracted by the transmission capacity of the transmission path 9, but the signal represented by the image data to be actually transmitted If the value is large, if it is quantized as it is, the amount of data stored in the transmission buffer memory 8 may become excessive due to the large signal value, and it is desirable to be able to compress it to a practically appropriate amount of data.
[0021]
The present invention has been made in consideration of the above points. It is an object of the present invention to allow image data to be transmitted easily and appropriately in accordance with image data to be quantized and to be decoded.
[0022]
[Means for Solving the Problems]
In order to solve such a problem, in the present invention, in an encoding apparatus that generates encoded image data by encoding image data, means for generating motion vector data for each macroblock that is an encoding unit for the image data Means for subjecting image data to discrete cosine transform processing and quantization processing; means for subjecting image data and motion vector data subjected to discrete cosine transform processing and quantization processing to variable length coding processing; And means for generating encoded image data by adding variable length encoded motion vector data as a header to the variable length encoded image data in units of macroblocks.
[0023]
In the present invention, in the decoding device for decoding the encoded image data, variable-length decoding image data is generated by performing variable-length decoding processing on the encoded image data, and variable-length decoding is performed. Means for generating variable-length decoded motion vector data by variable-length decoding the motion vector data added as the header of the encoded image data, and variable-length decoding using the variable-length decoded motion vector data Decoding means for performing a decoding process on the processed image data is provided.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention applied to a videophone will be described in detail with reference to the drawings.
[0025]
(G1) Overall configuration of image information transmission system
1 and 2, the image information transmission system 21 is composed of an encoder 21A and a decoder 21B. The encoder 21A is an input video signal VD. _IN Is pre-processed in the input circuit unit 22, and then the analog / digital conversion circuit 23 performs pixel data processing on transmission unit block data composed of pixel data of 16 × 16 pixels, that is, input image data S21 composed of pixel data of the macroblock MB. Processing information data corresponding to the data to be processed is sent via the header data processing system SYM2 at the timing when the pixel data is processed in units of the macroblock MB in each processing stage of the pixel data processing system SYM1. Thus, the pixel data and the header data are processed by the pipeline method in the pixel data processing system SYM1 and the header data processing system SYM2, respectively.
[0026]
In the case of this embodiment, the macroblock data sequentially transmitted as the input image data S21 is extracted from the frame image data FRM by the method shown in FIG.
[0027]
First, one frame image data FRM is divided into 2 (horizontal direction) × 6 (vertical direction) block group GOB as shown in FIG. 3 (A). Each block group GOB is divided into FIG. As shown in FIG. 3B, 11 (horizontal) × 3 (vertical) macroblocks MB are included, and each macroblock MB is 16 × 16 as shown in FIG. Luminance signal data Y for pixels ₀₀ ~ Y ₁₁ (Each consisting of luminance signal data for 8 × 8 pixels) and luminance signal data Y ₀₀ ~ Y ₁₁ Color signal data C consisting of color signal data corresponding to all pixel data of _b And C _r Comprising.
[0028]
Thus, the input image data S21 sent out for each macroblock MB is given to the motion compensation circuit 25. The motion compensation circuit 25 is motion detection control given from the motion compensation control unit 26 provided for the header data processing system SYM2. In response to the signal S22, the pre-prediction frame data S23 of the pre-prediction frame memory 27 is compared with the input image data S21 to detect the motion vector data MVD (x) and MVD (y) and to the motion compensation control unit 26. 1 as header data HD1 (FIG. 4), and motion compensation for motion vector data MVD (x) and MVD (y) is performed on the pre-prediction frame data S23 in the motion compensation circuit body 25A. The current frame data composed of the input image data S21 to be processed by forming the predicted current frame data S24 by S25 supplied to the picture data coding circuit 28 together.
[0029]
Here, as shown in FIG. 4, the motion compensation control unit 26 transmits transmission frame number data TR Counter indicating the transmission order of the frame image data FRM for each macroblock currently processed as the first header data HD1. The block group number data GOB address representing the block group GOB (FIG. 3 (A)) and the macro block number data MB address representing the macro block MB are sequentially added to each of the pixel data processing systems SYM1. The macro block MB transmitted to the processing stage is displayed, and flag data FLAGS representing the processing or processing format of the processing target macro block MB and motion vector data MVD (x) of the macro block MB are displayed. And MVD (y) and difference data Σ | A−B | representing the evaluation value.
[0030]
As shown in FIG. 5, the flag data FLAGS can have a flag for one word (16 bits) at the maximum. The 0th bit indicates whether the processing target macroblock MB should be processed in the motion compensation mode. A motion compensation control flag MC on / off indicating whether or not is set.
[0031]
The first bit of the flag data FLAGS includes an interframe / intraframe indicating whether the processing target macroblock MB should be processed in the interframe encoding mode or in the intraframe encoding mode. The flag Inter / Intra is set.
[0032]
A filter flag Filter on / off indicating whether or not to use the loop filter 25B of the motion compensation circuit 25 is set in the second bit of the flag data FLAGS.
[0033]
In the third bit of the flag data FLAGS, block data Y included in the processing target macroblock is displayed. ₀₀ ~ C _r A transmission flag Coded / Not-coded indicating whether or not (FIG. 3 (C)) should be transmitted can be set.
[0034]
In addition, in the fourth bit of the flag data FLAGS, a drop frame flag Drop frame flag indicating whether or not to drop the processing target macroblock MB can be set.
[0035]
In the fifth bit of the flag data FLAGS, a forced refresh flag Refresh on / off indicating whether or not the processing target macroblock MB is forcibly refreshed can be set.
[0036]
In addition, a macro block power evaluation flag MBP appreciate can be set in the sixth bit of the flag data FLAGS.
[0037]
The difference data Σ | A−B | is the difference between the macro block data A to be processed in the current frame data S25 and the macro block data B compensated by the motion vector for detection in the pre-prediction frame data S23. In this way, the detected motion vector can be evaluated.
[0038]
The image data encoding circuit 28 supplies the current frame data S25 supplied from the motion compensation circuit 25 to the transform encoding circuit 29 as it is as the difference data S26 in the intraframe encoding mode, and in contrast to the interframe encoding mode. At this time, difference data S26, which is the difference between the pixel data of the current frame data S25 and the pixel data of the predicted current frame data S24, is supplied to the transform coding circuit 29.
[0039]
The header data processing system SYM2 is provided with an interframe / intraframe encoding control unit 30 corresponding to the image data encoding circuit 28. The header data HD1 and image data encoding circuit supplied from the motion compensation control unit 26 are provided. 28, an interframe / intraframe flag Inter / Intra (FIG. 5) for designating an encoding mode of the image data encoding circuit 28 and a loop filter 25B of the motion compensation circuit 25. Data necessary for obtaining a filter flag Filter on / off (FIG. 5) for controlling the operation of the above is calculated and sent to the filter control unit 31 as second header data HD2.
[0040]
As shown in FIG. 4, the second header data HD2 takes over the transmission frame number data TR Counter to the difference data Σ | A−B | constituting the header data HD1 as it is, and the filter control unit 31 performs interframe / Power data Σ (A) necessary for forming the intra-frame coding mode switching signal S33 and the filter on / off signal S34 ² (L) and Σ (A) ² (H), Σ (AB) ² (L) and Σ (AB) ² (H), Σ (A-FB) ² (L) and Σ (A-FB) ² (H) and Σ (A) are added by the inter-frame / intra-frame encoding control unit 30.
[0041]
Here, the power data Σ (A) ² (L) and Σ (A) ² (H) represents the lower and upper bits of the sum of squares of the macroblock pixel data A of the current frame data S25, and the power data Σ (AB) ² (L) and Σ (AB) ² (H) is a low-order bit of the sum of squares of the difference AB between the macroblock pixel data A of the current frame data S25 and the macroblock pixel data B of the predicted current frame data S24 formed without going through the loop filter 25B. Represents the high-order bit, power data Σ (A-FB) ² (L) and Σ (A-FB) ² (H) is a lower bit and an upper bit of the sum of squares of the difference A-FB between the macroblock pixel data A of the current frame data S25 and the macroblock pixel data FB of the predicted current frame data S24 formed via the loop filter 25B. The power data Σ (A) represents the sum of the macroblock pixel data A of the current frame data S25, and represents the amount of data expressed as a power value (square) in order to evaluate the size of the data to be processed. The sum is obtained as a value unrelated to the sign).
[0042]
Based on the second header data HD2 passed from the inter-frame / intra-frame coding control unit 30 and the remaining amount data S32 supplied from the transmission buffer memory 32, the filter control unit 31 performs an image data coding circuit. 28 sends an inter-frame / intra-frame coding mode switching signal S33 to the loop filter 25B, sends a filter on / off signal S34 to the loop filter 25B, and further indicates a filter flag indicating the contents of the filter on / off signal S34. Filter on / off is added to the second header data HD2 and passed to the threshold control unit 35 as third header data HD3.
[0043]
Here, the filter control unit 31 first sets the image data encoding circuit 28 when the transmission data amount when the inter-frame encoding processing is larger than the transmission data amount when the intra-frame encoding processing is performed. Control to intra-frame coding mode.
[0044]
Secondly, the prediction current frame data S24 that is not subjected to the processing is more than the prediction current frame data S24 that is subjected to the processing in the loop filter 25B in the state in which the filter control unit 31 is processing in the interframe coding mode. When the difference value is small, the loop filter 25B is controlled so as not to perform the filtering operation by the filter on / off signal S34.
[0045]
Thirdly, the filter control unit 31 switches the image data coding circuit 28 to the intra-frame coding mode by the inter-frame / intra-frame coding mode switching signal S33 when the forced refresh mode is set.
[0046]
Further, fourthly, the filter control unit 31 detects a frame drop process when there is a possibility that the transmission buffer memory 32 overflows based on the remaining amount data S32 supplied from the transmission buffer memory 32. The third header data HD3 including a flag instructing what to do is sent to the threshold control unit 35.
[0047]
Thus, the image data encoding circuit 28 supplies to the transform encoding circuit 29 difference data S26 encoded in a mode in which the difference between the current frame data S25 and the predicted current frame data S24 is minimized.
[0048]
As shown in FIG. 4, the third header data HD3 takes over the transmission frame number data TR Counter to the motion vector data MVD (x) and MVD (y) from the header data HD2, and the block data in the filter control unit 31. Y ₀₀ ~ C _r A filter flag Filter on / off corresponding to 6 bits is added.
[0049]
The transform coding circuit 29 is a discrete cosine transform circuit, and the discrete cosine transform coefficient values after the discrete cosine transform are converted into six blocks Y ₀₀ , Y ₀₁ , Y _Ten , Y ₁₁ , C _b , C _r Each of them is sent to the transmission block setting circuit 34 as transform encoded data S35 that is zigzag scanned.
[0050]
The transmission block setting circuit 34 sends six block data Y sent as transform encoded data S35. ₀₀ ~ C _r For (FIG. 3 (C)), up to n sums of squares from the first coefficient data are calculated, and the calculation result is passed to the threshold control unit 35 as power detection data S36.
[0051]
At this time, the threshold control unit 35 receives each block data Y ₀₀ ~ C _r Each time, the power detection data S36 is compared with a predetermined threshold. When the power detection data S36 is smaller than the threshold, transmission of the block data is not permitted, but when it is larger, transmission of 6 bits is permitted. The admissibility flag data CBPN is formed and added to the third header data HD3 passed from the filter control unit 31 and passed to the quantization control unit 36 as the fourth header data HD4, and from the transmission block setting circuit 34. Corresponding block data Y ₀₀ ~ C _r Is transmitted to the quantization circuit 37 as transmission block pattern data S37.
[0052]
Here, the fourth header data HD4 takes over the transmission frame number data TR Counter to the filter flag Filter on / off of the header data HD3 as shown in FIG. ₀₀ ~ C _r A 6-bit transmission enable / disable flag CBPN is generated corresponding to
[0053]
The quantization control unit 36 performs the quantization step size determination processing routine shown in FIG. 6 based on the fourth header data HD4 passed from the threshold control unit 35 and the remaining amount data S32 sent from the transmission buffer memory 32. By executing RT0, the quantization step size control signal S38 is given to the quantization circuit 37, whereby the quantization circuit 37 is quantized with a quantization step size adapted to the data included in the macroblock MB, and the result The quantized image data S39 obtained at the output terminal of the quantizing circuit 37 is supplied to the variable length coding circuit 38.
[0054]
At the same time, as shown in FIG. 4, the quantization control unit 36 uses the block data Y5 as the fifth header data HD5 based on the header data HD4. ₀₀ ~ C _r The variable length coding circuit 38 is formed by separating the flag data FLAGS and the motion vector data MVD (x) and MVD (y) respectively corresponding to (FIG. 3 (C)) and arranging them in series. To the inverse quantization circuit 40.
[0055]
Here, as shown in FIG. 4, the header data HD5 takes over the transmission frame number data TR Counter to the macroblock number data MB address as they are in the header data HD4, and the quantization size data QNT in the quantization control unit 36. And block data Y ₀₀ ~ C _r Flag data FLAGS and motion vector data MVD (x) and MVD (y) are added.
[0056]
The variable length coding circuit 38 performs variable length coding processing on the header data HD5 and the quantized image data S39 to form transmission image data S40, and supplies this to the transmission buffer memory 32.
[0057]
The variable length encoding circuit 38 generates block data Y ₀₀ ~ C _r When “frame drop” or “transmission impossible” is specified based on the corresponding flag data FLAGS, the block data is discarded without being transmitted as transmission image data S40. Process.
[0058]
The transmission buffer memory 32 accumulates transmission image data S40, reads it out at a predetermined transmission speed, combines it with transmission audio data S41 sent from the audio data generator 42 in the multiplexer 41, and sends it to the transmission line 43. .
[0059]
The inverse quantization circuit 40 inversely quantizes the quantized image data S39 sent from the quantization circuit 37 based on the header data HD5, and then supplies the inversely quantized data S42 to the inverse transform coding circuit 43. After being converted into the inverse transform encoded data S43, it is supplied to the decoder circuit 44, and thus the encoded difference data S44 representing the image information sent as the transmission image data S40 is supplied to the pre-prediction frame memory 27.
[0060]
At this time, the pre-prediction frame memory 27 corrects the pre-prediction frame data that has been stored up to now using the encoded difference data S44 and stores it as new pre-prediction frame data.
[0061]
Thus, according to the encoder 21A configured as shown in FIG. 1, the pixel data is pipelined in units of macroblocks in the pixel data processing system SYM1 based on the header information supplied from the header data processing system SYM2. The header data processing system SYM2 delivers the header data so as to synchronize with this, and by adding or deleting the header data as necessary in each processing stage of the header data processing system SYM2, the pixel data Can be adaptively processed as necessary.
[0062]
As shown in FIG. 2, the decoder 21B receives transmission data transmitted from the encoder 21A via the transmission path 43 in the transmission buffer memory 52 via the demultiplexer 51, and transmits the transmission voice data S51 to the voice data receiving device. 53.
[0063]
The image data received in the transmission buffer memory 52 is separated into the received image data S52 and the header data HD11 in the variable length inverse transform circuit 54, and is inversely quantized to the inverse quantized data S53 in the inverse quantization circuit 55, and then the inverse transform code. In the conversion circuit 56, the inverse inverse process of the discrete is performed, and the inverse converted encoded data S54 is inversely converted.
[0064]
The inverse transform encoded data S54 is given to the decoder circuit 57 together with the header data HD12 formed in the inverse quantization circuit 55, and is stored in the frame memory 58 as encoded difference data S55.
[0065]
Thus, the image data transmitted based on the encoded differential data S55 is decoded in the frame memory 58, and the decoded image data S56 is converted into an analog signal by the digital / analog conversion circuit 59, and then the output circuit unit. 60 through the output video signal VD _OUT Is sent out as
[0066]
(G2) Quantization step size determination process
The quantization control unit 36 executes the quantization step size determination processing routine RT0 shown in FIG. 6 for each macroblock MB to thereby form the format of the image data of the macroblock MB that is currently processed (this is referred to as the macroblock type). A quantization step size QNT that can be adapted to the image quality) and supplying the quantization step size control signal S38 to the quantization circuit 37 as a quantization step size control signal S38 so as not to cause image quality disturbance that may occur depending on the macroblock type. The quantization circuit 37 is controlled.
[0067]
In the case of this embodiment, as shown in FIG. 7, the quantization circuit 37 can vary the steps from the upper limit value QNT = 31 to the lower limit value QNT = 1 as the quantization step size QNT. Is the quantization step size so that the remaining data buffer of the transmission buffer memory 32 is a value corresponding to the variable control range of the quantization step size QNT, that is, an appropriate value that falls within the quantization size controllable range QCR. The QNT value is adaptively controlled according to the macro block type.
[0068]
(G2-1) Processing when the remaining data is excessive
That is, when the quantization control unit 36 enters the quantization step size determination processing routine RT0 in FIG. 6, the remaining amount data buffer of the transmission buffer memory 32 is determined from the sum of the margin Margine and the quantization size controllable range QCR in step SP1. Judge whether it is big or not.
[0069]
If an affirmative result is obtained here, this means that the data remaining amount buffer in the transmission buffer memory 32 exceeds the upper limit value, and at this time, the quantum controllable unit 36 proceeds to step SP2 and performs the quantization step size. After the quantization step size control signal S38 for setting QNT to the maximum value, that is, QNT = 31, is supplied to the quantization circuit 37, the process proceeds to step SP3 to change the currently set quantization step size QNT to the previous frame quantization step. Save as size PQNT.
[0070]
Thus, the quantization control unit 36 ends the quantization step size determination processing routine RT0 in step SP4, whereby the quantization circuit 37 quantizes the transform encoded data S35 with the coarsest quantization step size.
[0071]
As a result, the data amount of the quantized image data S39 generated from the quantization circuit 37 is controlled to the smallest value, so that the data remaining amount buffer in the transmission buffer memory 32 decreases.
[0072]
This operation is repeatedly executed while an affirmative result is obtained in step SP1, and as a result, the remaining amount data in the transmission buffer memory 32 becomes a value smaller than the sum QCR + Margine of the margin Margine and the quantization size controllable range QCR.
[0073]
(G2-2) Processing in intraframe coding mode
In this state, the quantization control unit 36 moves to step SP5 when a negative result is obtained in step SP1, and the macroblock type Macro Block Type is an intra-frame coded block and is not a forced refresh block. Judge whether it is not refresh block.
[0074]
Here, as shown in FIG. 8, the macro block type is the second bit, the first bit, and the second bit of the flag data FLAGS included in the header data HD4 passed from the threshold control unit 35 to the quantization control unit 36. When these bits are “010”, the macroblock type is an intra-frame coding type Intra, when “000”, the inter-frame coding type Inter, and when “001”, the filter is a filter Unused motion compensation type MC-not filtered. When “101”, the filter is motion compensation type MC-filtered.
[0075]
Therefore, when an affirmative result is obtained in step SP5, this means that the second, first and zeroth bits of the flag data FLAGS are “000” and the forced refresh flag refresh of the fourth bit is logic “0”. It shows that it is in a state.
[0076]
By the way, such a state means that the change of the current frame with respect to the previous frame is so severe that the macroblock type requires intra-filter coding, and the forced refresh mode is not currently specified. It means below.
[0077]
Under such conditions, if the quantization circuit 37 performs quantization with a fine quantization step size, the data amount of the quantized image data S39 generated from the quantization circuit 37 becomes a very large value, and eventually the buffer It can be said that the memory 32 is approaching the possibility of overflow.
[0078]
At this time, the quantization control unit 36 proceeds to step SP6 and sets the quantization step size QNT to the upper limit value QNT = 31, thereby suppressing the data amount of the quantized data S39 generated from the quantization circuit 37. As a result, the transmission buffer memory 32 is prevented from overflowing.
[0079]
On the other hand, when a negative result is obtained in step SP5, this means that the result of the forced refresh is that the processing target macroblock type is not the intra-frame encoded type Intra or the intra-frame encoded type Intra. At this time, the quantization control unit 36 jumps to this without performing the processing of step SP6.
[0080]
(G2-3) Processing in forced refresh mode
Next, in step SP7, the quantization control unit 36 determines whether or not the type of the processing target macroblock is a forced refresh type refresh block.
[0081]
Here, if a positive result is obtained, this means that it is specified that forced refresh should be performed. At this time, the quantization control unit 36 moves to step SP8 and sets the quantization step size QNT as that of the previous frame. Set the previous frame quantization step size PQNT used in the quantization process, and when it is specified that the forced refresh process should be executed, perform the quantization with the same quantization step size as the previous frame. To.
[0082]
In this way, when the forced refresh process is executed, the image quality can be prevented from changing so that the forced refresh process does not become a practical problem.
[0083]
The forced refresh is executed at a predetermined cycle and irrespective of the content of the image. Therefore, when the value of the quantization step size changes compared to the previous frame even though there is no change in the content of the image, Changes are often annoying.
[0084]
On the other hand, if the value of the quantization step size is not changed when the forced refresh is designated, it is possible to prevent an unintentional change in the image from occurring during the refresh.
[0085]
Note that the same effect as described above can be obtained by selecting a slightly smaller value instead of selecting the same value as the quantization step size.
[0086]
When forced refresh is specified when there is no change in the image, if the quantization step size is increased, this will degrade the image quality of the restored image, whereas the quantization step size will be slightly reduced. If it is made smaller, the image quality of the restored image can be slightly improved, so that it can be prevented from being perceived as a change in the image by human eyes.
[0087]
On the other hand, if a negative result is obtained in step SP7, this indicates that the forced refresh is not currently designated. At this time, the quantization control unit 36 does not perform the process in step SP8. Jump.
[0088]
(G2-4) Processing when differential data power is high
Next, in step SP9, the quantization control unit 36 determines whether or not the macroblock type is the inter-frame coding type Inter and the macroblock power MBP is larger than a predetermined threshold value Threshold.
[0089]
Here, the macro block power MBP is
[0090]
[Expression 1]

[0091]
Thus, if a positive result is obtained in step SP9, this means that the image data of the macroblock MB, that is, the macroblock power MBP of the difference data is large, so that it is quantized with a somewhat coarse quantization step size and transmitted. Even in this case, it means that there is no influence that the image quality of the restored image is extremely deteriorated.
[0092]
Therefore, when a macro block satisfying such a condition is subjected to discrete cosine transform in the transform coding circuit 29, the quantization control unit 36 confirms this in step SP9 and proceeds to step SP10 to set the quantization step size QNT to the maximum. A rough value, that is, an upper limit value 31 is set.
[0093]
On the other hand, when the macroblock transform encoded data S35 having a macroblock power MBP not so high is sent, the quantization control unit 36 jumps to prevent the processing of step SP10 from being performed.
[0094]
Incidentally, the macroblock power MBP represented by the equation (1) is a discrete cosine transform coefficient C obtained as a result of the discrete cosine transform processing in the transform coding circuit 29. _oeff The weight of each macroblock is calculated based on (i), and the weight of the discrete cosine transform coefficient represents the strength of the transmission signal obtained by the discrete cosine transform, and therefore the macroblock power A large MBP means that the transmission signal as a signal transmission means is strong, so that even if it is transmitted with a slight compression, the transmission information can be correctly reproduced without being affected by external noise on the receiving side. .
[0095]
Therefore, in such a case, the quantization control unit 36 changes the quantization step size QNT to a large value, thereby compressing the data amount of the quantized data S39 generated in the quantization circuit 37, thereby burdening the transmission line 43. To reduce.
[0096]
The discrete cosine transform circuit constituting the transform coding circuit 29 is given by the following equation:
[0097]
[Expression 2]

[0098]
The discrete cosine transform circuit that performs the discrete cosine transform according to FIG.
[0099]
[Equation 3]

[0100]
To perform the discrete cosine inverse transform. Here, x and y are the coordinates of the pixel in the macroblock (the coordinates (0, 0) of the upper left corner), and u and v are the coordinates of the coefficient at the time of discrete cosine transformation.
[0101]
When u and v = 0,
[0102]
[Expression 4]

[0103]
In other cases,
[0104]
[Equation 5]

[0105]
become that way.
[0106]
In the conversion of the equations (2) and (3), when X is an image data matrix in a macroblock and C is a conversion matrix at the time of discrete cosine conversion, the conversion coding circuit 29 firstly converts the image data matrix. The converted image data matrix XC is obtained by horizontally converting X. ^-1 Then, the converted image data matrix C (X) C is obtained by performing vertical conversion processing again. ^-1 Get.
[0107]
The converted image data matrix C (X) C thus obtained ^-1 Is a coefficient C as shown in FIG. _oeff (1), C _oeff (2), C _oeff (3) …… C _oeff (64) can be expressed as a transform coefficient matrix composed of an 8 × 8 matrix, and each coefficient C of the transform coefficient matrix _oeff (I) Read out (i = 1 to 64) while scanning in the order of i = 1, 2, 3... 64 from the conversion matrix as time passes.
[0108]
Thus, the image data for one macroblock is converted into the conversion coefficient C constituting the conversion matrix. _oeff (I) is converted into (i = 1 to 64), and this is supplied to the quantization circuit 37 as transmission data arranged in time series.
[0109]
Thus, the transform coefficient data string C supplied to the quantizing circuit 37. _oeff (1), C _oeff (2) …… C _oeff (64) represents the information to be transmitted and also represents the strength of the signal to be transmitted. Therefore, as represented by the equation (1), the conversion coefficient data string C _oeff (I) The square of the transform coefficient data from i = 1 to n included in (i = 1, 2,... 64) equalizes the strength of the signal to be transmitted in the horizontal and vertical directions. Thus, the cumulative addition value is obtained, and in the end, equation (1) defines this as the macroblock power MBP.
[0110]
When the transform coefficient matrix as shown in FIG. 9 is obtained by actually performing discrete cosine transform on the image data, the transform coefficient C at the upper left corner is obtained. _oeff (I) That is, power concentrates on low-order transform coefficients, whereas there is a tendency that no significant information is generated in the transform coefficients in the lower right corner, that is, high-order transform coefficients, and thus transmitted by discrete cosine transform. Data compression can be realized.
[0111]
Accordingly, when it is confirmed in step SP9 in FIG. 6 that the macro block type Macro Block Type is the inter-frame coding type Inter, the macro block power MBP obtained based on the equation (1) is larger than the predetermined threshold value Threshold. If this can be confirmed, this means that the value of the difference data in the macroblock MB is sufficiently large, and thus it can be confirmed that coarse quantization may be performed. Therefore, if the quantization step size QNT is selected as the upper limit value in step SP10 in accordance with such determination, the difference data can be transmitted with a relatively small amount of data.
[0112]
(G2-5) Processing in interframe coding mode
When the quantization control unit 36 confirms in step SP11 in FIG. 6 that the macroblock type Macro Block Type is the interframe coding type Inter and the macroblock power MBP is smaller than the predetermined threshold value Threshold, the process proceeds to step SP12. Then, the quantization step size QNT is set to a value half that of the previous frame quantization step size PQNT used in the previous frame, and then the set quantization step size QNT is less than the lower limit value 1 in step SP13. If it is smaller, the quantization step size QNT is reset to the lower limit value 1 in step SP14, and if it is not smaller than 1, it is set as the quantization step size QNT without resetting. Process to do.
[0113]
Here, since the macro block power MBP represents the strength of the difference data signal of the image data of the macro block as described above with respect to the expression (1), the difference is small when an affirmative result is obtained in step SP11. Therefore, the content of the image is smaller than that of the previous frame.
[0114]
When such image data is obtained, it means that the image to be transmitted at present is in a state where only a change that can be partially corrected without significantly changing the image of the previous frame has occurred. ing.
[0115]
Therefore, if the quantization control unit 36 sets the quantization step size PQNT to 1/2 based on the quantization processing result of the previous frame in step SP12 and sets it as the quantization step size QNT of the current frame, Since the quantization step size can be made finer for the current frame whose motion has decreased compared to the previous frame, the quantization step size can be set to be more optimal.
[0116]
Since the quantization control unit 36 repeatedly executes the quantization step size reduction process in steps SP11 and SP12 as long as an image with less motion continues thereafter, this is necessary when an image with less motion is to be transmitted. The quantization step size can be converged to a value that can be adapted.
[0117]
Accordingly, the quantization step size QNT is not made smaller than the lower limit value 1 in steps SP13 and SP14, so that the quantization control unit 36 eventually sets the quantization step size QNT when transmitting an image with little motion. Thus, the quantization process can be stably performed in the state of convergence to the lower limit value.
[0118]
On the other hand, when a negative result is obtained in step SP11, the quantization control unit 36 determines that the change in the image to be transmitted is large, and jumps to this without performing the processing in steps SP12, SP13, and SP14. To do.
[0119]
(G2-6) Operation of quantization control unit 36
In FIG. 6, first, when the remaining data Buffer in the transmission buffer memory 32 exceeds the upper limit value (QCF + Margin), the quantization control unit 36 detects this in step SP1, and in step SP2, the quantization circuit 37 The quantization step size QNT is set to the upper limit value 31, and thereby, the data remaining amount data buffer in the transmission buffer memory 32 is reduced to control to maintain the state below the upper limit value.
[0120]
Second, in this state, when the block data Macro block Type is an intra-frame coding type and block data that is not a forced refresh block is supplied to the quantization circuit 37, the quantization control unit 36 confirms this in step SP5. In step SP6, the quantization step size QNT of the quantization circuit 37 is set to the upper limit value 31 to control the transmission buffer memory 32 so as not to overflow.
[0121]
In such an operation mode, the quantization control unit 36 obtains a negative result in each of steps SP7, SP9, and SP11, so that the quantization step size set in step SP6 is set as the previous frame quantization step size PQNT in step SP3. After the setting, the processing procedure ends.
[0122]
Third, when data having a forced refresh block type macroblock type is given to the quantization circuit 37, the quantization control unit 36 performs a loop of steps SP1-SP5-SP7 in the quantization step size determination processing routine RT0. In step SP8, the previous frame quantization step size PQNT is set as the quantization step size QNT of the quantization circuit 37 in step SP8, whereby the image quality of the image to be transmitted when entering the forced refresh mode is set to the image of the previous frame. Therefore, the image quality is not disturbed at the time of forced refresh.
[0123]
At this time, the quantization control unit 36 sets the quantization step size QNT set in step SP8 as the previous frame quantization step size PQNT in step SP3 by obtaining a negative result in steps SP9 and SP11, and ends the processing. To do.
[0124]
Fourth, when image data of a macroblock having a large macroblock power MBP is supplied to the quantization circuit 37, the quantization control unit 36 performs steps SP1-SP5-SP7-SP9 in the quantization step size determination processing routine RT0. This is confirmed by the loop, and in step SP10, the quantization step size QNT of the quantization circuit 37 is set to the upper limit value 31, thereby suppressing the amount of data generated in the quantization circuit 37 to a small value, and as a result. It is possible to efficiently transmit image data.
[0125]
At this time, the quantization control unit 36 sets the quantization step size QNT set at step SP10 at step SP3 as the previous frame quantization step size PQNT when a negative result is obtained at step SP11 after the processing is completed. After the correction, the processing routine ends.
[0126]
Fifth, when the macroblock data of the interframe coding type and the macroblock power MBP is small is supplied to the quantization circuit 37, the quantization control unit 36 converts this into steps SP1-SP5 of the quantization step size determination processing routine RT0. -Confirmed by the loop of SP7-SP9-SP11, and in step SP12, by setting the value of 1/2 of the previous frame quantization step size PQNT as the quantization step size QNT, the quantization step size converges to the lower limit value 1. Let me go.
[0127]
Thus, the optimum quantization step size can be set by applying to the macroblock power MBP.
[0128]
(G3) Other examples
(1) The case where the quantization step size QNT is set to the upper limit value 31 in steps SP6 and SP10 in FIG. 6 has been described. However, the quantization step size QNT to be set is not limited to the upper limit value, and other values are selected. In short, it suffices to select a coarse quantized value having a size capable of executing coarse quantization.
[0129]
(2) In step SP9 and SP11 in FIG. 6, the case where the same threshold value Threshold is selected for determining the magnitude of the macroblock power MBP has been described. Instead, a different value should be selected. However, the same effects as those described above can be obtained.
[0130]
(3) In the case of obtaining the quantization step size QNT from the previous frame quantization step size PQNT in step SP12 in FIG. 6, a case where a value of 1/2 of the quantization step size is set is described. The quantization step size is not limited to 2, and may be changed to another value as necessary. In short, a quantization step size reduced by a predetermined ratio with respect to the previous frame quantization step size may be selected.
[0131]
(4) Although the case where the quantization step size QNT is converged to the lower limit value 1 in steps SP13 and SP14 of FIG. 6 is described, the value to be converged is not limited to the lower limit value, and other values may be set as necessary. You may make it choose.
[0132]
【The invention's effect】
As described above, according to the present invention, variable length-encoded motion vector data and quantization step size data are added as headers to variable-length-encoded image data in units of macroblocks. Encoded image data is generated by quantizing a forced refresh macroblock with approximately the same step size by holding the quantization step size of the previous frame By transmitting and decoding the image data, it is possible to always transmit the image data simply and appropriately and to decode it even if the image data changes rapidly.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an encoder constituting an image information transmission system to which a video signal encoding method according to the present invention is applied.
FIG. 2 is a block diagram showing a decoder constituting an image information transmission system to which a video signal encoding method according to the present invention is applied.
FIG. 3 is a schematic diagram illustrating a configuration of frame image data.
4 is a block diagram showing a header data processing system of FIG. 1. FIG.
FIG. 5 is a schematic diagram illustrating a configuration of flag data in FIG. 4;
6 is a flowchart showing a quantization step size determination processing routine of the quantization control unit 36 of FIG.
7 is a curve diagram showing changes in remaining amount data in the transmission buffer memory 32 of FIG. 1; FIG.
FIG. 8 is a chart showing types of macroblock types.
FIG. 9 is a chart showing a transform coefficient matrix.
FIG. 10 is a schematic diagram for explaining intra-frame / inter-frame encoding processing;
FIG. 11 is a block diagram showing a conventional image data generating apparatus.
FIG. 12 is a curve diagram showing the quantization step.
[Explanation of symbols]
21 ... Image information transmission system, 21A ... Encoder, 21B ... Decoder, 25 ... Motion compensation circuit, 26 ... Motion compensation control unit, 27 ... Pre-prediction frame memory, 28 ... Image data encoding circuit, 29... Transform coding circuit, 30... Interframe / intraframe coding control unit, 31... Filter control unit, 32... Transmission buffer memory, 34... Transmission block setting circuit, 35. 36... Quantization control unit, 37... Quantization circuit, 38.

Claims

In an encoding device that generates encoded image data by encoding image data,
Means for generating motion vector data for each macroblock as a coding unit for the image data;
Means for performing discrete cosine transform processing and quantization processing on the image data;
Quantization control means for controlling the quantization processing;
Means for performing variable-length coding processing on the image data and the motion vector data subjected to the discrete cosine transform processing and quantization processing;
Adding the variable length encoded motion vector data and the quantization step size data determined in the quantization process as a header to the variable length encoded image data in units of the macroblocks; And means for generating the encoded image data,
Said quantization control means, when the data having the macro block type of forced refresh type is given to the means for applying the quantization process, holds the quantization step size of the previous frame, the quantization step of holding An encoding apparatus, characterized in that the forced refresh macroblock is controlled to be quantized with a step size substantially equal to the size.

In an encoding method for generating encoded image data by encoding image data,
Generate motion vector data for each macroblock that is a coding unit for the image data,
A discrete cosine transform process and a quantization process are performed on the image data,
The quantization process is controlled by a quantization control means,
The variable length encoding process is performed on the image data and the motion vector data subjected to the discrete cosine transform process and the quantization process,
Adding the variable length encoded motion vector data and the quantization step size data determined in the quantization process as a header to the variable length encoded image data in units of the macroblocks; To generate the encoded image data,
Said quantization control means, when the data having the macro block type of forced refresh type is given to the means for applying the quantization process, holds the quantization step size of the previous frame, the quantization step of holding An encoding method comprising: controlling the forced refresh macroblock to be quantized with a step size substantially equal to the size.