JPH11317950A - データ符号化装置、データ符号化方法及びデータ伝送方法 - Google Patents

Abstract

(57)【要約】 【課題】本発明は、画像データの動き量に係わらず高画
質な符号化データを生成するようにする。 【解決手段】本発明は、入力された画像データにおける
隣接する２つのフレーム間差分を算出すると共に当該フ
レーム間の動きベクトルを算出し、当該フレーム間差分
及び当該動きベクトルに基づいて画像データを符合化す
ると共に動きベクトルを符号化して出力する場合、画像
データの動き量をフレーム内の所定範囲で形成される各
ブロツクの動きベクトルの絶対値和に基づいて検出し、
当該検出結果が所定の閾値を越えていた場合に画像デー
タの画素数を所定の変換比率で削減し、当該画素数の削
減された画像データに応じて減少した分の画像データの
動きを表す動きベクトルの符号量を、画像データの符号
量に割り当てたことによつて得られる符号発生量になる
ように上記係数データを符号化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はデータ符号化装置、
データ符号化方法及びデータ伝送方法に関し、例えば画
像データを圧縮符号化するデータ符号化装置、データ符
号化方法及びデータ伝送方法に適用して好適なものであ
る。

【０００２】

【従来の技術】従来、画像データを光磁気デイスクや磁
気テープ等の記録媒体にデイジタルデータとして記録す
る場合や所定の伝送媒体を介して画像データを伝送する
場合に、画像データの情報量を減らして記録及び伝送す
る方法として種々の圧縮符号化方法が提案されており、
その代表的なものにＭＰＥＧ２(Moving Picture Expert
s Group Phase 2)と呼ばれる方式がある。かかるＭＰＥ
Ｇ２方式を用いて画像データを圧縮符号化し、地上波又
は衛星波を介して放送するデイジタル放送システムが今
日では開始されている。

【０００３】このＭＰＥＧ２方式の圧縮符号化方法で
は、１５フレームからなる画像データをＧＯＰ(Group O
f Picture)と呼ばれる１つの処理単位としてエンコード
するようになされている。例えば図９（Ａ）及び（Ｂ）
に示すように、１つのＧＯＰ（フレームＦＯ〜Ｆ１４）
にはＩピクチヤ(Intra-Picture :フレーム内符号化画
像）と、Ｐピクチヤ(Predictive-Picture : フレーム間
順方向予測符号化画像）と、Ｂピクチヤ(Bidirectional
ly Predictive-Picture : 双方向予測符号化画像）とが
ある。

【０００４】Ｉピクチヤは、ＧＯＰの独立性を保つため
のものであり、その画面全体が符号化されるものである
（イントラ符号化）。Ｐピクチヤは、時間的に過去に存
在するＩピクチヤ又はＰピクチヤを予測するために用い
ることにより順方向に予測符号化されるものである（順
方向予測符号化）。Ｂピクチヤは、時間的に過去及び未
来に存在するＩピクチヤ又はＰピクチヤを用いて双方向
から予測符号化されるものである（双方向予測符号
化）。

【０００５】このような圧縮符号化方法を用いて画像デ
ータを圧縮符号化する場合、図１０に示すようにデータ
符号化装置５０は画像データＤ１をプリフイルタ５１に
入力する。プリフイルタ５１は、量子化レート制御部５
５から供給される周波数特性制御信号Ｓ５５に応じて画
像データＤ１を帯域制限することにより当該画像データ
Ｄ１の高域成分を削減し、帯域制限画像データＤ５１と
して符号化部５３に送出する。

【０００６】符号化部５３は、帯域制限画像データＤ５
１に対して動き補償処理、ＤＣＴ(Discrete Cosine Tra
nsform :離散コサイン変換）処理、量子化処理及びＶＬ
Ｃ(Variable Length Coding : 可変長符号化）処理を施
すことにより圧縮符号化し、これを可変長符号化データ
Ｄ５３として送信バツフア５４に送出する。このとき符
号化部５３は、量子化レート制御部５５から供給される
量子化制御信号Ｓ５６に基づいて量子化処理における量
子化ステツプサイズを調整する。

【０００７】また符号化部５３には、符号化部制御部５
７から符号化部制御情報Ｄ５７が供給されており、当該
符号化部５３は当該符号化部制御情報Ｄ５７に基づいて
符号化タイミング及び動き補償処理における動きベクト
ル探索範囲を設定するようになされている。

【０００８】ここで可変長符号化データＤ５３からなる
各フレーム毎の符号発生量は、画像データＤ１の画像内
容に応じて変動する。このため符号化部５３は、送信バ
ツフア５４における可変長符号化データＤ５３の占有量
に基づいて量子化処理の量子化ステツプサイズ及びプリ
フイルタ５１における帯域制限を制御し、可変長符号化
データＤ５３を送信バツフア５４に複数フレーム分蓄積
した後、一定期間例えばＧＯＰ当たりの符号発生量を一
定に制御した固定長符号化データＤ５０として出力す
る。

【０００９】すなわち量子化レート制御部５５は、送信
バツフア５４における可変長符号化データＤ５３のバツ
フア蓄積状態を常に監視しており、かかる蓄積状態を占
有率情報Ｓ５４として得ることにより、当該占有率情報
Ｓ５４を基に量子化制御信号Ｓ５６及び周波数特性制御
信号Ｓ５５を生成し、これを符号化部５３及びプリフイ
ルタ５１に供給する。かくして符号化部５３は、一定期
間当たりの符号発生量を一定に制御した固定長符号化デ
ータＤ５０を生成するようになされている。

【００１０】

【発明が解決しようとする課題】ところでかかる構成の
データ符号化装置５０においては、１つ前のフレーム画
像と比べて画像データＤ１の画像の動き量が大きければ
大きい程、フレーム当たりの動きベクトルの符号発生量
が増加する。すなわち図１１（Ａ）及び（Ｂ）は、符号
化部５３において量子化処理を行う前のフレーム当たり
のＤＣＴ係数の符号発生量と動きベクトルの符号発生量
との比率を表したものであり、動き量の大きい画像を符
号化したときの動きベクトルＭＶ２は動き量の少ない画
像を符号化したときの動きベクトルＭＶ１に比べて符号
発生量が増大している。

【００１１】ＤＣＴ係数ＤＣＴ１及びＤＣＴ係数ＤＣＴ
２の符号発生量は、画像の動き量に係わらず殆ど変化し
ない。このためデータ符号化装置５０は、動き量の大き
い画像が連続して入力された場合、ＤＣＴ係数ＤＣＴ２
及び動きベクトルＭＶ２全体の符号発生量が増大してい
るために、ＤＣＴ係数を量子化する際の量子化ステツプ
サイズを大きくすることにより粗く量子化する。

【００１２】これによりデータ符号化装置５０は、一定
期間当たりの符号発生量が一定に制御した固定長符号化
データＤ５０を生成することができるが、量子化ステツ
プサイズを大きくしてＤＣＴ係数値を減少させたために
ＤＣＴ空間での解像度が低下し、その分だけ画質の劣化
が生じるという問題があつた。

【００１３】本発明は以上の点を考慮してなされたもの
で、画像データの動き量に係わらず高画質な符号化デー
タを生成し得るデータ符号化装置、データ符号化方法及
びデータ伝送方法を提案しようとするものである。

【００１４】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、入力された画像データにおける隣
接する２つのフレーム間差分を算出すると共に当該フレ
ーム間の動きベクトルを算出し、当該フレーム間差分及
び当該動きベクトルに基づいて上記画像データを符号化
すると共に上記動きベクトルを符号化して出力する場
合、画像データの動き量をフレーム内の所定範囲で形成
される各ブロツクの動きベクトルの絶対値和に基づいて
検出し、当該検出結果が所定の閾値を越えていた場合に
画像データの画素数を所定の変換比率で削減し、当該画
素数の削減された画像データに応じて減少した分の画像
データの動きを表す動きベクトルの符号量を、画像デー
タの符号量に割り当てたことによつて得られる符号発生
量になるように上記画像データ及び動きベクトルを符号
化するようにする。

【００１５】隣接する２つのフレーム間の動きベクトル
の絶対値和に基づいて画像の動き量の度合いを検出し、
この検出結果に応じた所定の変換比率で画像データの画
素数を削減することにより、減少した動きベクトルの符
号量を画像データの符号量に割り当てて画像データの符
号発生量を増加させ、その分だけ量子化ステツプサイズ
を小さく設定して符号化することができる。

【００１６】

【発明の実施の形態】以下図面について、本発明の一実
施の形態を詳述する。

【００１７】図１において１は全体として本発明のデー
タ符号化装置を示し、画像データＤ１０を後述する画素
数変換部２に送出すると共に遅延回路３に送出する。遅
延回路３は、画像データＤ１０を所定時間分遅延させた
後にスイツチ回路４を介して再び画素数変換部２に送出
すると共にエンコーダ５に送出する。また画素数変換手
段としての画素数変換部２は、所定の方法で画像データ
Ｄ１０の画素数を削減し、これを画素数変換された画像
データＤ１０´としてエンコーダ５に送出するようにな
されている。

【００１８】ここで符号化手段としてのエンコーダ５
は、図２に示すように入力される画像データＤ１０（又
は画像データＤ１０´）を参照画像、前（過去）方向画
像又は後（未来）方向画像の種類別にフレーム単位でフ
レームメモリ１０に格納する。因みに、この場合フレー
ムを構成する画枠の大きさとしては、Ｍ(1920)画素×Ｎ
(1080)画素のサイズが用いられている。

【００１９】なお画像データＤ１０（又は画像データＤ
１０´）は、予め前処理部（図示せず）において、各フ
レーム画像について設定されたシーケンスに応じてＩピ
クチヤ、Ｐピクチヤ又はＢピクチヤの３つの画像タイプ
のうち、どの画像タイプとして処理するかを指定した
後、当該画像タイプに応じてフレーム画像を符号化する
順番に並び換え、さらに当該フレーム画像を１６画素×
１６画素の輝度信号及び当該輝度信号に対応する色差信
号（Ｃ_B 、Ｃ_R ）によつて構成されるマクロブロツクに
分割することにより生成されたデータである。

【００２０】フレームメモリ１０は、格納された画像デ
ータＤ１０（又は画像データＤ１０´）を画像タイプに
応じて読み出し、これをマクロブロツクデータＤ１１と
して予測符号化部１１及び動きベクトル検出部１２にそ
れぞれ送出する。

【００２１】動きベクトル検出部１２は、マクロブロツ
クデータＤ１１の各マクロブロツクの動きベクトルを、
当該マクロブロツクデータＤ１１とフレームメモリ１３
に記憶されている後（未来）方向及び又は前（過去）方
向の参照画像データＤ１８とに基づいて算出し、これを
動きベクトルデータＤ１２として動き補償部１４及びＶ
ＬＣ(Variable Length Coding : 可変長符号化）部１７
にそれぞれ送出する。

【００２２】予測符号化部１１は、マクロブロツクデー
タＤ１１の各マクロブロツクの画像タイプに基づいてイ
ントラモード、順方向予測モード、逆方向予測モード又
は双方向予測モードのいずれかの予測モードの動き補償
を行う。ここでイントラモードとは、符号化対称となる
フレーム画像をそのまま伝送データとして伝送する方法
であり、順方向予測モードとは、符号化対称となるフレ
ーム画像と前（過去）方向予測画像との予測残差を伝送
データとして伝送する方法である。

【００２３】また逆方向予測モードとは、符号化対称と
なるフレーム画像と後（未来）方向予測画像との予測残
差を伝送データとして伝送する方法であり、双方向予測
モードとは、符号化対称となるフレーム画像と前（過
去）方向予測画像及び後（未来）方向予測画像の２つの
予測画像の平均値との予測残差を伝送データとして伝送
する方法である。

【００２４】まずマクロブロツクデータＤ１１がＩピク
チヤである場合について説明する。この場合マクロブロ
ツクデータＤ１１は、イントラモードで処理される。す
なわち予測符号化部１１は、マクロブロツクデータＤ１
１のマクロブロツクをそのまま演算データＤ１３として
スイツチ３０を介してＤＣＴ(Discrete Cosine Transfo
rm :離散コサイン変換 )部１５に送出する。

【００２５】ＤＣＴ部１５は、演算データＤ１３に対し
てＤＣＴ変換処理を施してＤＣＴ係数化し、これをＤＣ
Ｔ係数データＤ１４として量子化部１６に送出する。量
子化部１６は、ＤＣＴ係数データＤ１４に対して量子化
処理を施し、これを量子化ＤＣＴ係数データＤ１５とし
てＶＬＣ部１７及び逆量子化部１９にそれぞれ送出す
る。

【００２６】このとき量子化部１６は、量子化スケール
設定部２２より供給される量子化制御信号Ｓ１１に応じ
て量子化処理における量子化ステツプサイズを調整する
ことにより、量子化ＤＣＴ係数データＤ１５の符号発生
量を制御するようになされている。

【００２７】逆量子化部１９は、量子化ＤＣＴ係数デー
タＤ１５に対して逆量子化処理を施し、これをＤＣＴ係
数データＤ１６として逆ＤＣＴ部２０に送出する。逆Ｄ
ＣＴ部２０は、ＤＣＴ係数データＤ１６に対して逆ＤＣ
Ｔ処理を施し、これを演算データＤ１７として演算器２
１に送出し、当該演算データＤ１７をそのまま参照画像
データＤ１８としてフレームメモリ１３に記憶する。

【００２８】次にマクロブロツクデータＤ１１がＰピク
チヤである場合について説明する。この場合予測符号化
部１１は、マクロブロツクデータＤ１１についてイント
ラモード又は順方向予測モードのいずれかの予測モード
による動き補償処理を行う。

【００２９】予測モードがイントラモードの場合、上述
のＩピクチヤの場合と同様に予測符号化部１１は、マク
ロブロツクデータＤ１１のマクロブロツクをそのまま演
算データＤ１３としてＤＣＴ部１５に送出する。演算デ
ータＤ１３は、上述のＩピクチヤの場合と同様にＤＣＴ
部１５〜演算器２１までの処理が施され、参照画像デー
タＤ１８としてフレームメモリ１３に記憶される。

【００３０】予測モードが順方向予測モードの場合、予
測符号化部１１はマクロブロツクデータＤ１１について
動き補償部１４より供給される順方向予測画像データＤ
１４Ｆを用いて演算器３１により減算処理する。ここで
順方向予測画像データＤ１４Ｆは、フレームメモリ１３
に記憶されている参照画像データＤ１８を動きベクトル
データＤ１２に応じて動き補償することにより算出され
る。

【００３１】すなわち動き補償部１４は、順方向予測モ
ードにおいてフレームメモリ１３の読出アドレスを動き
ベクトルデータＤ１２に応じたアドレス位置にずらして
参照画像データＤ１８を読み出し、これを順方向予測画
像データＤ１４Ｆとして演算器３１及び演算器２１にそ
れぞれ供給する。演算器３１は、マクロブロツクデータ
Ｄ１１から順方向予測画像データＤ１４Ｆを減算して予
測残差としての差分データを得、これを演算データＤ１
３としてスイツチ３０を介してＤＣＴ部１５に送出す
る。

【００３２】演算データＤ１３は、ＤＣＴ部１５におい
てＤＣＴ変換処理が施され、さらに量子化部１６におい
て量子化処理が施され、これを量子化ＤＣＴ変換データ
Ｄ１５としてＶＬＣ部１７及び逆量子化部１９にそれぞ
れ送出される。このときも量子化部１６は、量子化スケ
ール設定部２２より供給される量子化制御信号Ｓ１１に
応じて量子化処理における量子化ステツプサイズを調整
することにより、量子化ＤＣＴ変換データＤ１５の符号
発生量を制御する。

【００３３】逆量子化部１９に送出された量子化ＤＣＴ
変換データＤ１５は、逆量子化処理が施され、これをＤ
ＣＴ変換データＤ１６として逆ＤＣＴ部２０に送出され
る。ＤＣＴ変換データＤ１６は、逆ＤＣＴ部２０におい
て逆ＤＣＴ処理が施され、演算データＤ１７として演算
器２１に送出される。ここで、演算器２１には動き補償
部１４より順方向予測画像データＤ１４Ｆが供給されて
おり、当該演算器２１は演算データＤ１７に当該順方向
予測画像データＤ１４Ｆを加算することにより参照画像
データＤ１８（Ｐピクチヤ）を局部再生し、これをフレ
ームメモリ１３に記憶する。

【００３４】次にマクロブロツクデータＤ１１がＢピク
チヤである場合について説明する。この場合予測符号化
部１１は、マクロブロツクデータＤ１１についてイント
ラモード、順方向予測モード、逆方向予測モードまたは
双方向予測モードのいずれかの予測モードによる動き補
償処理を行う。

【００３５】予測モードがイントラモード又は順方向予
測モードの場合、マクロブロツクデータＤ１１は上述の
Ｐピクチヤの場合と同様の処理を受けるが、Ｂピクチヤ
は参照画像として用いられないためにフレームメモリ１
３には記憶されない。

【００３６】予測モードが逆方向予測モードの場合、予
測符号化部１１はマクロブロツクデータＤ１１について
動き補償処理部１４から供給される逆方向予測画像デー
タＤ１４Ｂを用いて減算処理する。ここで逆方向予測画
像データＤ１４Ｂは、フレームメモリ１３に記憶されて
いる参照画像データＤ１８を動きベクトルデータＤ１２
に応じて動き補償することにより算出される。

【００３７】すなわち動き補償部１４は、逆方向予測モ
ードにおいてフレームメモリ１３の読出アドレスを動き
ベクトルデータＤ１２に応じたアドレス位置にずらして
参照画像データＤ１８を読み出し、これを逆方向予測画
像データＤ１４Ｂとして演算器３２及び演算器２１に供
給する。演算器３２は、マクロブロツクデータＤ１１か
ら逆方向予測画像データＤ１４Ｂを減算して予測残差と
しての差分データを得、これを演算データＤ１３として
スイツチ３０を介してＤＣＴ部１５に送出する。

【００３８】演算データＤ１３は、ＤＣＴ部１５におい
てＤＣＴ変換処理が施され、さらに量子化部１６におい
て量子化処理が施され、これを量子化ＤＣＴ変換データ
Ｄ１５としてＶＬＣ部１７及び逆量子化部１９に送出さ
れる。このときも量子化部１６は、量子化スケール設定
部２２より供給される量子化制御信号Ｓ１１に応じて量
子化処理における量子化ステツプサイズを調整すること
により、量子化ＤＣＴ変換データＤ１５の符号発生量を
制御する。

【００３９】逆量子化部１９に送出された量子化ＤＣＴ
変換データＤ１５は、逆量子化処理が施され、これをＤ
ＣＴ変換データＤ１６として逆ＤＣＴ部２０に送出され
る。ＤＣＴ変換データＤ１６は、逆ＤＣＴ部２０におい
て逆ＤＣＴ処理が施され、演算データＤ１７として演算
器２１に送出される。

【００４０】ここで、演算器２１には動き補償部１４よ
り逆方向予測画像データＤ１４Ｂが供給されており、当
該演算器２１は演算データＤ１７に当該逆方向予測画像
データＤ１４Ｂを加算することにより参照画像データＤ
１８（Ｂピクチヤ）を局部再生するが、Ｂピクチヤは他
の予測参照画像として用いられないのでこの場合の参照
画像データＤ１８がフレームメモリ１３に記憶されるこ
とはない。

【００４１】予測モードが双方向モードの場合、予測符
号化部１１はマクロブロツクデータＤ１１から動き補償
部１４より供給される順方向予測画像データＤ１４Ｆ及
び逆方向予測画像データＤ１４Ｂの平均値を減算して予
測残差としての差分データを得、これを演算データＤ１
３としてＤＣＴ部１５に送出する。

【００４２】演算データＤ１３は、ＤＣＴ部１５におい
てＤＣＴ変換処理が施され、さらに量子化部１６におい
て量子化処理が施され、これを量子化ＤＣＴ変換データ
Ｄ１５としてＶＬＣ部１７及び逆量子化部１９に送出さ
れる。このときも量子化部１６は、量子化スケール設定
部２２より供給される量子化制御信号Ｓ１１に応じて量
子化処理における量子化ステツプサイズを調整すること
により、量子化ＤＣＴ変換データＤ１５の符号発生量を
制御する。

【００４３】逆量子化部１９に送出された量子化ＤＣＴ
変換データＤ１５は、逆量子化処理が施され、これをＤ
ＣＴ変換データＤ１６として逆ＤＣＴ部２０に送出され
る。ＤＣＴ変換データＤ１６は、逆ＤＣＴ部２０におい
て逆ＤＣＴ処理が施され、演算データＤ１７として演算
器２１に送出される。

【００４４】ここで、演算器２１には動き補償部１４よ
り順方向予測画像データＤ１４Ｆ及び逆方向予測画像デ
ータＤ１４Ｂが供給されており、当該演算器２１は演算
データＤ１７に当該順方向予測画像データＤ１４Ｆ及び
逆方向予測画像データＤ１４Ｂの平均値を加算すること
により参照画像データＤ１８（Ｂピクチヤ）を生成する
が、Ｂピクチヤは他の予測参照画像として用いられない
のでこの場合も参照画像データＤ１８がフレームメモリ
１３に記憶されることはない。

【００４５】かくしてエンコーダ５に入力された画像デ
ータＤ１０（又は画像データＤ１０´）は、動き補償処
理、ＤＣＴ処理及び量子化処理が施され、量子化ＤＣＴ
係数データＤ１５としてＶＬＣ部１７に供給される。Ｖ
ＬＣ部１７は、量子化ＤＣＴ係数データＤ１５及び動き
ベクトルデータＤ１２に対して可変長符号化処理を施
し、これを可変長符号化データＤ２０として送信バツフ
ア１８に送出する。送信バツフア１８は、可変長符号化
データＤ２０を所定時間分蓄積した後に一定期間単位
（ＧＯＰ毎）の固定長符号化データＤ２１として出力す
るようになされている。

【００４６】これに対して画素数変換部２に送出された
画像データＤ１０（図１）は、動き検出回路６に入力さ
れる。動き検出回路６は、画像データＤ１０のフレーム
画像を１６画素×１６画素の輝度信号及び当該輝度信号
に対応する色差信号（Ｃ_B 、Ｃ_R ）によつて構成される
マクロブロツクに分割する。

【００４７】そして動き検出回路６は、分割された複数
のマクロブロツクの中から１つの参照ブロツクを選び出
し、これが１つ前のフレーム画像に設定されたサーチエ
リア内に存在する多数の候補ブロツクの中のどれと最も
似ているかを輝度の差分値を算出することにより調べ
（以下、この手法をブロツクマツチング法と呼ぶ）、最
も類似度の高い候補ブロツクとの位置のずれを動きベク
トルとして検出する。

【００４８】さらに動き検出回路６は、上述の動きベク
トルの検出処理を各マクロブロツク毎に全て実行し、各
マクロブロツク毎に検出した動きベクトルを全て加算す
ることにより動きベクトルの絶対値和をフレーム毎に算
出し、これを動きベクトルデータＤ２２として画素数決
定回路７に送出する。

【００４９】画素数決定回路７は、動きベクトルデータ
Ｄ２２すなわち動きベクトルの絶対値和が所定の閾値を
越えていた場合には、そのフレーム画像の動き量が大き
いと判断することができる。この場合、エンコーダ５に
よつてフレーム画像をこのままの画素数で符号化処理し
たのでは情報量が多くなり過ぎてしまうために、量子化
ステツプサイズを大きな値に設定し直して量子化しなけ
ればならないが、これに伴つて画質も劣化してしまう。

【００５０】従つて画素数決定回路７は、このような場
合にフレーム画像の画素数を変更する必要があると判断
し、このとき予め設定された画素数に変換するための変
換信号Ｓ１２を画素数変換回路８に送出すると共に、ス
イツチ回路４の出力先をエンコーダ５側から画素数変換
回路８側に切り換えるための切換信号Ｓ１３をスイツチ
回路４に送出する。

【００５１】すなわち画素数決定回路７は、図３に示す
ようにフレームＦ０〜Ｆ１４毎に順次算出した動きベク
トルデータＤ２２を所定の閾値と比較し、その結果フレ
ームＦ９以降の動きベクトルの絶対値和が所定の閾値を
越えていたことを検出したときに、フレームＦ０〜Ｆ８
とフレームＦ９〜フレームＦ１４との間で画像に大きな
動きがあつたものと判断する。

【００５２】このとき画素数決定回路７は、Ｍ(1920)画
素×Ｎ(1080)画素の画素数でなる画枠のフレーム画像を
予め設定されたｍ(1440)画素×ｎ(720) 画素の画素数で
なる画枠のフレーム画像に変更するための変換信号Ｓ１
２を画素数変換回路８に送出する。

【００５３】ところで遅延回路３においては、動き検出
回路６及び画素数決定回路７において画素数の変更を決
定するまでの時間分だけ遅延させたタイミングで画像デ
ータＤ１０をフレーム毎に出力するようになされてお
り、これにより画像データＤ１０がスイツチ回路４を介
して画素数変換回路８に入力されるタイミングと同期し
て、画素数決定回路７から画素数変換回路８に変換信号
Ｓ１２を入力するようになされている。

【００５４】画素数変換回路８は、変換信号Ｓ１２に基
づいて画像データＤ１０を予め設定されているｍ(1440)
画素×ｎ(720) 画素の画素数に変換し、これを画素数変
換された画像データＤ１０´としてエンコーダ５に送出
するようになされている。

【００５５】この場合図４に示すように、Ｍ(1920)画素
×Ｎ(1080)画素の画素数でなるフレーム画像がｍ(1440)
画素×ｎ(720) 画素の画素数でなるフレーム画像に変換
されることにより、全体のマクロブロツク数がＫ個から
ｋ個に減少するようになされており、これに伴つて画像
自体も小さくなる。従つて画素数変換されたフレーム画
像の画像データＤ１０´は、マクロブロツク数がＫ個か
らｋ個に減少すると共に動きベクトルの大きさ自体も動
きベクトルＭＶから動きベクトルｍｖへと小さくなる。

【００５６】また図５に示すように、画素数変換される
前のフレーム画像（画像データＤ１０）と画素数変換さ
れた後のフレーム画像（画像データＤ１０´）とでは、
変換前と変換後で全体のマクロブロツク数が減少するこ
とにより、１つのマクロブロツクが表示する画像部分の
大きさが変化する。すなわち、画素数変換された後のマ
クロブロツクが表示する画像部分は粗くなる。

【００５７】このとき画素数変換された後のマクロブロ
ツクが表示する画像部分は粗くなつているが、元々の画
像データＤ１０そのもののデータの冗長度が高いために
画素数をある程度減少させても画質が低下することはな
い。

【００５８】また画素数変換回路８は、画素数をｍ(144
0)画素×ｎ(720) 画素に変換した時点でこれまでのＭ(1
920)画素×Ｎ(1080)画素の画素数でなるフレーム画像の
ビツトストリームが終了することを意味するシーケンス
エンドコードと、次に新たにビツトストリームを開始さ
せるシーケンスヘツダ情報をシーケンス制御信号Ｓ１４
としてエンコーダ５の前処理部（図示せず）に送出する
ようになされている。

【００５９】ところでエンコーダ５においては、画像デ
ータＤ１０（又は画像データＤ１０´）を符号化して固
定長符号化データＤ２１を生成する際、図６に示すよう
に予めＧＯＰデータを構成するビツトストリームの前段
にシーケンスヘツダ情報を書き込むと共に、ＧＯＰデー
タを構成するビツトストリームの後段にシーケンスヘツ
ダ情報と同一のビツト数で全て「０」でなるシーケンス
エンドコードを書き込むようになされている。

【００６０】これによりエンコーダ５では、前処理部の
制御によつて図７に示すように画素数変換された画像デ
ータＤ１０´を符号化する際には、画素数変換される前
のＧＯＰにおける例えばＦ８のフレーム画像（Ｐピクチ
ヤ）を参照画像として用いることなくＦ９以降の例えば
Ｆ１１のＩピクチヤを参照画像として符号化処理するよ
うになされている。これによりエンコーダ５は、画素数
変換前のフレーム画像を参照画像として画素数変換後の
フレーム画像を符号化処理するような誤動作を防止する
ことができる。

【００６１】実際上、画素数変換回路８が画素数を削減
する場合には画素数変換前のＭ(1920)画素をｍ(1440)画
素に変換するためその変換比率は３：２になつている。
従つて画素数変換回路８は、Ｍ(1920)画素を２倍にアツ
プレートしてその後１／２にデシメート（間引く）する
ことによりオーバサンプリングするようになされてい
る。

【００６２】例えば図８に示すようにフレーム画像の画
素（ピクセル）Ｎと画素Ｎ＋１と画素Ｎ＋２を基に２倍
にアツプレートすることにより画素数を２倍（６個）に
増やし、その後種類の異なる画素（画素Ｎと画素Ｎ＋
１、画素Ｎ＋１と画素Ｎ＋２）を含む数画素単位で平均
値を算出することにより新たな画素（Ｎ）´と新たな画
素（Ｎ＋１）´を生成するようになされている。これに
より３：２の変換比率で画素数を削減することができ
る。因みに、Ｎ(1080)画素をｎ( 720)画素に変換する場
合も同様である。

【００６３】このようにして画素数変換された画像デー
タＤ１０´は、画素数の減少に伴つてマクロブロツク数
も減少することにより、エンコーダ５において符号化す
る際の動きベクトルの符号発生量も減少している。従つ
てエンコーダ５から出力される固定長符号化データＤ２
１（図６）は、画素数変換前と画素数変換後の符号発生
量が共に一定であるため、エンコーダ５においてはマク
ロブロツク数の減少に伴う動きベクトルの符号量の減少
分をＤＣＴ係数データＤ１４の符号量に割り当てること
ができる。

【００６４】この結果として量子化スケール設定部２２
は、画素数変換前に行われていた量子化ステツプＡより
も細かい量子化ステツプａで画素数変換後のＤＣＴ係数
データＤ１４を量子化し得ることにより、ＤＣＴ係数デ
ータＤ１４の係数値を増大させてＤＣＴ空間における解
像度の低下を防止した固定長符号化データＤ２１を生成
し得るようになされている。

【００６５】以上の構成において、データ符号化装置１
は画素数変換部２の動き検出回路６によつて画像の動き
量を表す動きベクトルデータＤ２２を各マクロブロツク
の動きベクトルの絶対値和に基づいて検出し、当該検出
結果が所定の閾値を越えていた場合にＭ(1920)画素×Ｎ
(1080)画素の画素数でなる画枠のフレーム画像（画像デ
ータＤ１０）を予め設定されたｍ(1440)画素×ｎ(720)
画素の画素数でなる画枠のフレーム画像（画像データＤ
１０´）に変換し、当該変換された画像データＤ１０´
をエンコーダ５に送出する。

【００６６】この場合画像データＤ１０´は、画素数が
削減された分だけマクロブロツクデータＤ１１のマクロ
ブロツク数が減少し、この結果動きベクトルの符号発生
量が減少する。すなわち画素数の削減量に応じてマクロ
ブロツク数が減少して個々のマクロブロツクが表示する
画像部分が大きくなる（画像が粗くなる）ことにより、
動きベクトルを表すのに必要な画素数が減少することに
なる。

【００６７】従つて画素数を減少した場合、元の画素数
削減前のフレーム画像の動きベクトルが大きければ大き
い程、画素数削減後のフレーム画像の動きベクトルの符
号発生量が減少する割合も大きくなる。これによりデー
タ符号化装置１は、画像が大きく動いた場合に動きベク
トルの符号発生量が減少する分の符号発生量をＤＣＴ係
数データＤ１４の符号発生量に割り当てることにより、
量子化ステツプサイズを小さくして符号化処理すること
ができる。

【００６８】かくしてデータ符号化装置１は、量子化ス
テツプサイズを小さくして符号化処理することにより、
ＤＣＴ係数データＤ１４の係数値を増大させてＤＣＴ空
間における解像度の低下を防止することができる。

【００６９】以上の構成によれば、データ符号化装置１
は各マクロブロツクにおける動きベクトルの絶対値和に
基づいて画像の動き量が大きいと判断した場合にフレー
ム画像の画素数を削減し、それに伴つて減少するマクロ
ブロツク数に応じて減少する動きベクトルの符号発生量
分をＤＣＴ係数データＤ１４の符号発生量に割り当てる
ことにより、量子化ステツプサイズをその分小さくして
符号化処理することができ、かくしてその分だけ画質の
劣化を改善した高画質な固定長符号化データＤ２１を生
成することができる。

【００７０】なお上述の実施の形態においては、画像の
動き量を検出する方法として動き検出回路６において動
きベクトルの絶対値和を動きベクトルデータＤ２２とし
て所定の閾値と比較するようにした場合について述べた
が、本発明はこれに限らず、上述のようにマクロブロツ
ク毎に検出した輝度値の絶対値差分和に動きベクトルの
絶対値を乗算した乗算結果を動きベクトルデータＤ２２
として用いるようにしても良い。この場合、画素数変換
する際の動きベクトルデータＤ２２のデータ精度をより
向上させることができる。

【００７１】また上述の実施の形態においては、画素数
変換回路８によりＭ(1920)画素×Ｎ(1080)画素の画素数
でなるフレーム画像をｍ(1440)画素×ｎ(720) 画素の画
素数でなるフレーム画像に変換するようにした場合につ
いて述べたが、本発明はこれに限らず、所定の変換比率
に基づく他の種々の画素数に削減するようにしても良
い。

【００７２】さらに上述の実施の形態においては、本発
明をＭＰＥＧ２方式のデータ符号化装置１に適用するよ
うにした場合について述べたが、本発明はこれに限ら
ず、送信バツフア１８から出力される固定長符号化デー
タＤ２１を所定の方式で変調した後に伝送する場合に適
用しても良い。

【００７３】さらに上述の実施の形態においては、本発
明をＭＰＥＧ２方式のデータ符号化装置１に適用するよ
うにした場合について述べたが、本発明はこれに限ら
ず、他の種々の符号化方式によるデータ符号化装置に本
発明を適用するようにしても良い。

【００７４】

【発明の効果】上述のように本発明によれば、隣接する
２つのフレーム間の動きベクトルの絶対値和に基づいて
画像の動き量の度合いを検出し、この検出結果に応じた
所定の変換比率で画像データの画素数を削減することに
より、減少した分の動きベクトルの符号量を画像データ
の符号量に割り当てて当該画像データにおける符号発生
量を増加させ、その分だけ量子化ステツプサイズを小さ
くして符号化することができ、かくして画像データの動
き量に係わらず高画質な符号化データを生成することが
できる。

【図面の簡単な説明】

【図１】本発明の一実施の形態におけるデータ符号化装
置の構成を示すブロツク図である。

【図２】エンコーダの構成を示すブロツク図である。

【図３】画素数変更の判断基準の説明に供する略線図で
ある。

【図４】画素数変換の説明に供する略線図である。

【図５】画素数変換後のマクロブロツクを示す略線図で
ある。

【図６】画素数変換前後における符号発生量の違いの説
明に供する略線図である。

【図７】画素数変更点を示す略線図である。

【図８】オーバサンプリングの手法を示す略線図であ
る。

【図９】圧縮符号化方法の説明に供する略線図である。

【図１０】従来のデータ符号化装置の構成を示すブロツ
ク図である。

【図１１】動きベクトル量の増加の割合を示す略線図で
ある。

【符号の説明】

１、５０……データ符号化装置、２……画素数変換部、
３……遅延回路、５……エンコーダ、６……動き検出回
路、７……画素数決定回路、８……画素数変換回路。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 村上 芳弘 東京都品川区北品川６丁目７番35号ソニー 株式会社内

Claims (12)

【特許請求の範囲】
1. 【請求項１】入力された画像データにおける隣接する２
   つのフレーム間差分を算出すると共に当該フレーム間の
   動きベクトルを算出し、当該フレーム間差分及び当該動
   きベクトルに基づいて上記画像データを符号化すると共
   に上記動きベクトルを符号化して出力するデータ符号化
   装置において、 上記画像データの動き量をフレーム内の所定範囲で形成
   される各ブロツクの動きベクトルの絶対値和に基づいて
   検出し、当該検出結果が所定の閾値を越えていた場合に
   上記画像データの画素数を所定の変換比率で削減する画
   素数変換手段と、 上記画素数の削減された画像データに応じて減少した分
   の上記画像データの動きを表す動きベクトルの符号量
   を、上記画像データの符号量に割り当てたことによつて
   得られる符号発生量になるように上記画像データ及び上
   記動きベクトルを符号化する符号化手段とを具えること
   を特徴とするデータ符号化装置。
2. 【請求項２】上記画素数変換手段は、上記動きベクトル
   の絶対値和に加えて輝度の差分値の総和を乗算した算出
   結果に基づいて上記画像データの動き量を検出すること
   を特徴とする請求項１に記載のデータ符号化装置。
3. 【請求項３】上記画素数変換手段は、上記画素数を所定
   倍に増やした後、隣接した異なる種類の画素を含む数画
   素単位の平均値を算出して新たな画素を生成することに
   より上記画素数を上記所定の変換比率で削減することを
   特徴とする請求項１に記載のデータ符号化装置。
4. 【請求項４】上記符号化手段は、上記符号発生量にする
   ために上記画像データ及び上記動きベクトルを小さな値
   の量子化ステツプサイズで符号化することを特徴とする
   請求項１に記載のデータ符号化装置。
5. 【請求項５】入力された画像データにおける隣接する２
   つのフレーム間差分を算出すると共に当該フレーム間の
   動きベクトルを算出し、当該フレーム間差分及び当該動
   きベクトルに基づいて上記画像データを符号化すると共
   に上記動きベクトルを符号化して出力するデータ符号化
   方法において、 上記画像データの動き量をフレーム内の所定範囲で形成
   される各ブロツクの動きベクトルの絶対値和に基づいて
   検出し、当該検出結果が所定の閾値を越えていた場合に
   上記画像データの画素数を所定の変換比率で削減し、 上記画素数の削減された画像データに応じて減少した分
   の上記画像データの動きを表す動きベクトルの符号量
   を、上記画像データの符号量に割り当てたことによつて
   得られる符号発生量になるように上記画像データ及び上
   記動きベクトルを符号化することを特徴とするデータ符
   号化方法。
6. 【請求項６】上記データ符号化方法は、上記動きベクト
   ルの絶対値和に加えて輝度の差分値の総和を乗算した算
   出結果に基づいて上記画像データの動き量を検出するこ
   とを特徴とする請求項５に記載のデータ符号化方法。
7. 【請求項７】上記データ符号化方法は、上記画素数を所
   定倍に増やした後、隣接した異なる種類の画素を含む数
   画素単位の平均値を算出して新たな画素を生成すること
   により上記画素数を上記所定の変換比率で削減すること
   を特徴とする請求項５に記載のデータ符号化方法。
8. 【請求項８】上記データ符号化方法は、上記符号発生量
   にするために上記画像データ及び上記動きベクトルを小
   さな値の量子化ステツプサイズで符号化することを特徴
   とする請求項５に記載のデータ符号化方法。
9. 【請求項９】入力された画像データにおける隣接する２
   つのフレーム間差分を算出すると共に当該フレーム間の
   動きベクトルを算出し、当該フレーム間差分及び当該動
   きベクトルに基づいて上記画像データを符号化すると共
   に上記動きベクトルを符号化することにより得られた符
   号化データを変調して伝送するデータ伝送方法におい
   て、 上記画像データの動き量をフレーム内の所定範囲で形成
   される各ブロツクの動きベクトルの絶対値和に基づいて
   検出し、当該検出結果が所定の閾値を越えていた場合に
   上記画像データの画素数を所定の変換比率で削減し、 上記画素数の削減された画像データに応じて減少した分
   の上記画像データの動きを表す動きベクトルの符号量
   を、上記画像データの符号量に割り当てたことによつて
   得られる符号発生量になるように上記画像データ及び上
   記動きベクトルを符号化することにより上記符号化デー
   タを生成して所定の変調方式で変調して伝送することを
   特徴とするデータ伝送方法。
10. 【請求項１０】上記データ伝送方法は、上記動きベクト
    ルの絶対値和に加えて輝度の差分値の総和を乗算した算
    出結果に基づいて上記画像データの動き量を検出するこ
    とを特徴とする請求項９に記載のデータ伝送方法。
11. 【請求項１１】上記データ伝送方法は、上記画素数を所
    定倍に増やした後、隣接した異なる種類の画素を含む数
    画素単位の平均値を算出して新たな画素を生成すること
    により上記画素数を上記所定の変換比率で削減すること
    を特徴とする請求項９に記載のデータ伝送方法。
12. 【請求項１２】上記データ伝送方法は、上記符号発生量
    にするために上記画像データ及び上記動きベクトルを小
    さな値の量子化ステツプサイズで符号化することを特徴
    とする請求項９に記載のデータ伝送方法。