JPH0879753A - 動画像符号化装置及び動画像復号装置 - Google Patents

Abstract

(57)【要約】 【目的】 任意の四角形領域をその大きさや性質に従っ
て以降の変換符号化に適した小ブロックに再分割するこ
とにより、画像データを高能率で符号化する。 【構成】 画像を均一な性質を有する複数個の任意形状
の四角形領域に分割し、この四角形領域に性質にもとづ
いて適応的に小ブロック分割の形状を決定する適応的小
ブロック分割決定部１１５と、ここで決定された分割方
法を用いて四角形領域を小ブロックに分割する小ブロッ
ク分割部１１４とを設けることにより、画像を均一な性
質を有する複数個の任意形状の四角形領域に分割し、こ
の四角形領域をさらに小ブロックに分割して直交変換符
号化を施すため、直交変換部の回路を大きくする必要が
ない。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像符号化装置及び
動画像復号装置に関し、より詳細には、画像を任意形状
の四角形領域に分割し、その四角形領域内の性質にもと
づいて、四角形領域をさらに小ブロックに分割して、画
像データを高能率で符号化する動画像符号化装置及び動
画像復号装置に関する。例えば、ディジタル画像処理に
適用されるものである。

【０００２】

【従来の技術】従来より動画像符号化方式では、符号化
及び復号を画像形状に合わせた領域単位で行う方法があ
る。例えば、画像を図１４に示すような変形格子によっ
て均一な性質を有する複数個の領域に分割する方式であ
る。これらは以下の公知文献に述べられている。“Ｖer
y Ｌow Ｂitrate Ｖideo Ｃoder using Ｗarping Ｐred
icteion”(1993年画像符号化シンポジウム8-7，pp．167
-168）、“画像の適応的可変ブロック形状ＫＬ変換符号
化”(１９９１年画像符号化シンポジウム8-14,pp．235-
238）。この変形格子の各頂点を以後格子点と呼び、図
１４では〇で表されている。

【０００３】図１５は、従来の動画像符号化装置の一構
成例を示すブロック図で、図中、１５０１はフレームメ
モリ、１５０２は四角形領域検出／分割部、１５０３は
直交変換部、１５０４は量子化部、１５０５は可変長符
号化部、１５０６は符号バッファ、１５０７は逆量子化
部、１５０８は逆直交変換部、１５０９はフレームメモ
リ、１５１０は動き補償部、１５１１は格子点移動量検
出部、１５１２は四角形領域検出／分割部、１５１３は
スイッチである。

【０００４】入力画像を格納するフレームメモリ１５０
１は、動きベクトル算出のため複数枚のフレームを格納
できる。四角形領域検出／分割部１５０２，１５１２
は、四角形領域の格子点の位置を検出して位置情報を作
成し、画像を図１４に示すような格子点に囲まれた四角
形領域に分割する。直交変換部１５０３は、四角形領域
単位で直交変換を施す。量子化部１５０４は、変換後の
データを適当な量子化ステップサイズで量子化する。可
変長符号化部１５０５は、量子化値あるいは四角形領域
検出／分割部１５０２，１５１２からの格子点位置情報
をあらかじめ定められた符号表にしたがって可変長符号
化し、符号化データとして出力する。符号バッファ１５
０６は、可変長符号化部１５０５からのデータを一定の
レートで出力するためのデータを蓄積、平滑化する。

【０００５】逆量子化部１５０７は、量子化部１５０４
からの出力を逆量子化する。逆直交変換部１５０８は、
逆量子化部１５０７の出力に逆直交変換を施す。フレー
ムメモリ１５０９は予測に必要な画像を格納する。動き
補償部１５１０は、後述の格子点移動量検出部１５１１
の出力である格子点移動量を用いて動き補償予測を行
う。格子点移動量検出部１５１１は、四角形領域検出／
分割部１５１２で作成した四角形領域の各格子点に対応
する符号化対象フレームにおける格子点を検出し、対応
する格子点間の移動量を計算する。スイッチ１５１３
は、フレーム内符号化の場合は四角形領域検出／分割部
１５０２を、フレーム間符号化の場合は四角形領域検出
／分割部１５０２と動き補償部１５１０の差分を選択す
る。

【０００６】次に、四角形領域検出／分割部について説
明する。図１６（ａ）〜（ｅ）は、格子点の検出方法の
一例を示す図である。 ，画像をＮ画素×Ｍ画素の大きさの一様な長方形ブロ
ックに分割する（図１６（ａ））。 ，図１６（ａ）において、格子点Ｐを取り囲む４ブロ
ックＡ，Ｂ，Ｃ，Ｄの各々に対してブロック内分散
ｄ_A，ｄ_B，ｄ_C，ｄ_Dを計算する。 ，Ｄ１＝ｄ_A＋ｄ_B＋ｄ_C＋ｄ_Dを計算する。

【０００７】，格子点Ｐを上下左右に１画素ずつ移動
させ新たにできた四角形領域（図１６（ｂ）〜（ｅ））
に対しても同様にＤ２，Ｄ３，Ｄ４，Ｄ５を計算する。 ，Ｄ１〜Ｄ５の中で最小値を選択し、格子点Ｐを最小
値とする位置に移動させる。 ，前記〜の処理を各格子点に対して１回ずつ行
う。 ，前記を画像全体に対して、四角形の形状が変化し
なくなるまで反復して行う。

【０００８】次に、格子点移動量検出部について説明す
る。 ，既に符号化、復号されフレームメモリ１５０９に格
納された参照画像を四角形領域検出／分割部１５１２に
入力して四角形領域に分割し、図１７（ａ）,（ｂ）に
示すように、四角形領域の格子点Ｐ_A，Ｐ_B，Ｐ_C，Ｐ_Dを
求める。 ，符号化対象フレーム上でＰ_A，Ｐ_B，Ｐ_C，Ｐ_Dと同じ
位置にあるＣ_A，Ｃ_B，Ｃ_C，Ｃ_Dを求める。

【０００９】，Ｃ_Aを中心とするＬ_x画素×Ｌ_y画素の
領域を探索し、マッチングの最もよい点を見つける。例
えば、符号化対象フレーム上で探索範囲内の画素値の重
みつき荷重和を計算し、Ｐ_Aに最も近い重みつき荷重和
をもつ画素を求め、この画素をＣ_A′とする。 ，Ｐ_Aに対応する点Ｃ_A′を見つけたら、Ｐ_AからＣ_A′
への移動量（ｍｖｘ_A，ｍｖｙ_A）を計算する。 ，同様の処理をＣ_B，Ｃ_C，Ｃ_Dに対しても行う。

【００１０】次に、動き補償部について説明する。格子
点移動量検出部１５１１で調べた参照フレームと符号化
対象フレームとの格子点の対応関係を使って、動き補償
部１５１０では四角形領域に含まれる各画素値の予測値
を計算する。四角形領域を、図１８（ａ）,（ｂ）に示
すように、２つの三角形に分割し、参照フレーム上の四
角形領域の画素位置をアフィン変換によって符号化対象
フレーム上の四角形領域の画素位置に対応づけることで
符号化対象フレーム上の予測画素を求める。

【００１１】次に、動画像復号装置について説明する。
図１９は、図１５に示した動画像符号化装置で作成され
た符号化データを復号する動画像復号装置の一構成例を
示すブロック図で、図中、１９０１は可変長復号部、１
９０２は逆量子化部、１９０３は逆直交変換部、１９０
４はブロック再配列部、１９０５はフレームメモリ、１
９０６は動き補償部、１９０７は四角形領域検出／分割
部、１９０８はスイッチである。

【００１２】可変長復号部１９０１は、可変長符号化デ
ータを復号するためのものである。逆量子化部１９０２
は、可変長復号部１９０１で復号された量子化データを
逆量子化するためのものである。逆直交変換部１９０３
は、逆量子化部１９０２で逆量子化された変換係数に逆
直交変換を施すものである。四角形領域検出／分割部１
９０７は、図１５の四角形領域検出／分割部１５１２と
同じである。ブロック再配列部１９０４は、四角形領域
検出／分割部１９０７の出力である四角形形状をもとに
逆直交変換部１９０３の出力結果を並び替える。フレー
ムメモリ１９０５は、既に復号された画像を格納するも
のである。動き補償部１９０６は、図１５の動き補償部
１５１０と同じである。スイッチ１９０８は、フレーム
内符号化の場合はオフに、フレーム間符号化の場合はオ
ンに切替える。

【００１３】

【発明が解決しようとする課題】前述のように、従来の
動画像符号化装置及び動画像復号装置においては、図１
５及び図１９に示す直交変換部／逆直交変換部では各四
角形領域に属する全画素数を入力として処理を進める必
要がある。しかしながら一般に四角形領域は領域の形状
及び大きさ、すなわち四角形領域が含む画素数について
は一定ではない。従って、直交変換部／逆直交変換部で
は処理できない大きさの四角形領域が生じたり、任意の
大きさの四角形領域に対応しようとすれば、直交変換部
／逆直交変換部の構成が大きくなる可能性もあるという
問題点があった。また、この問題を解決するために四角
形領域をあらかじめある決められた小領域に再分割する
方法もあるが、各小領域の性質を考慮しないため変換符
号化に適した領域分割ができないため符号化効率が悪く
なるという問題点もあった。

【００１４】本発明は、このような実情に鑑みてなされ
たもので、任意の四角形領域をその大きさや性質に従っ
て以降の変換符号化に適した小ブロックに再分割するこ
とにより、画像データを高能率で符号化するようにした
動画像符号化装置及び動画像復号装置を提供することを
目的としている。

【００１５】

【課題を解決するための手段】本発明は、上記課題を解
決するために、（１）画像を複数個の任意形状の四角形
領域に分割して処理の単位とする動画像符号化装置にお
いて、前記任意形状の四角形領域を適応的に小ブロック
に再分割する形状を決定する適応的小ブロック分割決定
部と、該適応的小ブロック分割決定部で決定された分割
方法を用いて前記任意形状の四角形領域を小ブロックに
再分割する小ブロック分割部とを設けたこと、更には、
（２）前記適応的小ブロック分割決定部を、各小ブロッ
クに属する画素数をカウントするカウンタと、各小ブロ
ックの画素数の差分絶対値をとる差分絶対値計算部と、
該差分絶対値計算部による差分絶対値を最小とする小ブ
ロックの形状を選択するブロック形状選択部とにより構
成すること、更には、（３）前記適応的小ブロック分割
決定部を、各小ブロックの分散を計算する分散計算部
と、該分散計算部の出力結果である各小ブロックの分散
の和を計算する加算器と、該加算器による分散値和を最
小とする小ブロックの形状を選択するブロック形状選択
部とにより構成すること、更には、（４）前記適応的小
ブロック分割決定部を、四角形領域内のエッジを検出す
るエッジ検出部と、該エッジ検出部からの出力結果であ
るエッジ位置を基にしてエッジを近似するエッジ近似部
とにより構成すること、更には、（５）前記適応的小ブ
ロック分割決定部を、参照フレームにおける小ブロック
の分散を計算する分散計算部と、該分散計算部の出力結
果である各小ブロックの分散の和を計算する加算器と、
該加算器による分散値和を最小とする小ブロックの形状
を選択するブロック形状選択部とにより構成すること、
更には、（６）前記適応的小ブロック分割決定部を、二
枚の参照フレームの差分画像における小ブロックの分散
を計算する分散計算部と、該分散計算部の出力結果であ
る各小ブロックの分散の和を計算する加算器と、該加算
器による分散値和を最小とする小ブロックの形状を選択
するブロック形状選択部とにより構成すること、更に
は、（７）前記（２）〜（６）のいずれかにおいて、前
記適応的小ブロック分割決定部を、四角形領域あるいは
小ブロック全体の画素数をカウントするカウンタと、該
カウンタからの出力結果とあらかじめ定められたしきい
値とを比較する比較器とにより構成し、前記四角形領域
あるいは小ブロックの画素数が、しきい値未満であれ
ば、前記四角形領域あるいは小ブロックを分割せず、し
きい値以上であれば、請求項２，３又は４に記載した方
法で前記四角形領域あるいは小ブロックを再分割するこ
と、或いは、（８）請求項１記載の動画像符号化装置で
作成された符号化データを復号するために、任意形状の
四角形領域を適応的に小ブロックに再分割する形状を決
定する適応的小ブロック分割決定部と、該適応的小ブロ
ック分割決定部で決定された分割方法を用いて前記任意
形状の四角形領域を小ブロックに再分割する小ブロック
分割部とを設けたこと、更には、（９）前記（８）にお
いて、前記適応小ブロック分割決定部を、再分割した各
小ブロックに属する画素数をカウントするカウンタと、
各小ブロックの画素数の差分絶対値を計算する差分絶対
値計算部と、該差分絶対値計算部による差分絶対値を最
小とする小ブロックの形状を選択するブロック形状選択
部とにより構成すること、更には、（１０）前記（８）
において、前記適応的小ブロック分割決定部を、参照フ
レームにおける小ブロックの分散を計算する分散計算部
と、該分散計算部の出力結果である各小ブロックの分散
値和を計算する加算器と、該加算部による分散値和を最
小とする小ブロックの形状を選択するブロック形状選択
部とにより構成すること、更には、（１１）前記（８）
において、前記適応的小ブロック分割決定部を、二枚の
参照フレームの差分画像における小ブロックの分散を計
算する分散計算部と、該分散計算部の出力結果である各
小ブロックの分散値和を計算する加算器と、該加算器に
よる分散値和を最小とする小ブロックの形状を選択する
ブロック形状選択部とにより構成すること、更には、
（１２）前記（９）,（１０）又は（１１）において、
前記適応的小ブロック分割決定部を、四角形領域あるい
は小ブロックの画素数をカウントするカウンタと、該カ
ウンタからの出力をあらかじめ定められたしきい値と比
較する比較器とにより構成し、前記四角形領域あるいは
小ブロックの画素数が、しきい値以上ならば、請求項８
又は９記載の方法で再分割し、しきい値未満ならば、再
分割しない決定を行うことを特徴としたものである。

【００１６】

【作用】前記構成を有する本発明の動画像符号化装置及
び動画像復号装置は、画像を均一な性質を有する複数個
の四角形領域に分割する動画像符号化装置及び復号装置
において、任意の画素数をもつ四角形領域を小ブロック
に分割することによって直交変換部／逆直交変換部の規
模を大きくすることなく回路を構成する。このとき、一
度分割した小ブロックの画素数を調べ、画素数が依然と
して多いときには再度小ブロックを分割することによっ
て直交変換部／逆直交変換部の規模を大きくすることな
く回路を構成する。

【００１７】四角形領域から小ブロックに分割する方法
を各小ブロックに属する画素数や、小ブロックの分散、
四角形領域に含まれるエッジをもとにして分割すること
によって変換領域を小さくすることで生じる符号化効率
の低下を防ぐ。また、四角形領域から小ブロックに分割
するときに四角形領域の大きさを調べ、単一のブロック
として処理できるほど小さければ小ブロックへの分割を
中止することによって符号化効率の低下を防ぐ。

【００１８】

【実施例】実施例について図面を参照して以下に説明す
る。図１は、本発明による動画像符号化装置の一実施例
を説明するためのブロック図で、図中、１０１はフレー
ムメモリ、１０２は四角形領域検出／分割部、１０３は
直交変換部、１０４は量子化部、１０５は可変長符号化
部、１０６は符号バッファ、１０７は逆量子化部、１０
８は逆直交変換部、１０９はフレームメモリ、１１０は
動き補償部、１１１は格子点移動量検出部、１１２は四
角形領域検出／分割部、１１３はスイッチ、１１４は小
ブロック分割部、１１５は適応的小ブロック分割決定部
である。

【００１９】入力画像を格納するフレームメモリ１０１
は、動きベクトル算出のため複数枚のフレームを格納で
きる。四角形領域検出／分割部１０２，１１２は、四角
形領域の格子点の位置を検出して位置情報を作成し、画
像を格子点に囲まれた四角形領域に分割する。直交変換
部１０３は、四角形領域単位で直交変換を施す。量子化
部１０４は、変換後のデータを適当な量子化ステップサ
イズで量子化する。可変長符号化部１０５は、量子化値
あるいは四角形領域検出／分割部１０２，１１２からの
格子点位置情報をあらかじめ定められた符号表にしたが
って可変長符号化し、符号化データとして出力する。符
号バッファ１０６は、可変長符号化部１０５からのデー
タを一定のレートで出力するためのデータを蓄積、平滑
化する。

【００２０】逆量子化部１０７は、量子化部１０４から
の出力を逆量子化する。逆直交変換部１０８は、逆量子
化部１０７の出力に逆直交変換を施す。フレームメモリ
１０９は予測に必要な画像を格納する。動き補償部１１
０は、後述の格子点移動量検出部１１１の出力である格
子点移動量を用いて動き補償予測を行う。格子点移動量
検出部１１１は、四角形領域検出／分割部１１２で作成
した四角形領域の各格子点に対応する符号化対象フレー
ムにおける格子点を検出し、対応する格子点間の移動量
を計算する。スイッチ１１３は、フレーム内符号化の場
合は四角形領域検出／分割部１０２を、フレーム間符号
化の場合は四角形領域検出／分割部１０２と動き補償部
１１０の差分を選択する。

【００２１】本発明と図１５に示す従来例との違いは、
図１の小ブロック分割部１１４と適応的小ブロック分割
決定部１１５を設けた点である。小ブロック分割部１１
４は、適応的小ブロック分割決定部１１５で選択された
方法で四角形領域を小ブロックに分割する。

【００２２】図２は、図１における適応的小ブロック分
割決定部の一構成例を示すブロック図で、図中、２０１
は小ブロック分割部、２０２はカウンタ、２０３は差分
絶対値計算部、２０４は小ブロック形状選択部である。

【００２３】小ブロック分割部２０１は、四角形領域を
図３（ａ）〜（ｄ）に示すような形状のブロックに分割
する小ブロック分割部であり、各々の小ブロック分割部
は図３（ａ）〜（ｄ）の形状への分割を１つづつ処理す
る。ここで、図３（ａ）,（ｂ）は分割後のブロック形
状が三角形になるが、公知文献“ＤＣＴを用いた画像の
可変ブロック形状変換符号化の検討”（1992年電子情報
通信学会秋季大会D-146,pp．6-147）に述べられている
ように、直交変換は三角形に対しても行えるので問題は
ない。また、図３（ｃ）,（ｄ）の分割線は各々中点ど
おしを結んだものである。

【００２４】ブロック分割について、例えば、図３
（ａ）についての動作を説明する。図３（ａ）を担当す
る小ブロック分割部では、図にしたがって四角形領域を
２つの小ブロックに分割する。次に、カウンタ２０２で
は小ブロック分割部２０１で分割した２つの小ブロック
の各々について小ブロックに属する画素数Ｓ_a0，Ｓ_a1を
カウントする。差分絶対値計算部２０３ではカウンタ２
０２の出力であるＳ_a0，Ｓ_a1を使って差分絶対値 Ｄ_a＝｜Ｓ_a0−Ｓ_a1｜ …（１） を計算する。

【００２５】以上は、図３（ａ）について述べたが、同
様に図３（ｂ）〜（ｄ）についても差分絶対値Ｄ_b，
Ｄ_c，Ｄ_dを計算し、小ブロック形状選択部２０４ではＤ
_a〜Ｄ_dを比較し、最小のものを選択する。ここでは小ブ
ロックに含まれる画素数によって小ブロックの分割形状
を決定するので、小ブロックの形状を示すフラグを復号
側に送る必要はない。

【００２６】図４は、図１における適応的小ブロック分
割決定部の他の構成例を示すブロック図で、図中、４０
１は小ブロック分割部、４０２は分散計算部、４０３は
加算器、４０４は小ブロック形状選択部である。図２の
カウンタ２０２が分散計算部４０２に変わり、差分絶対
値計算部２０３が加算器４０３に変わった以外は、図２
と同じである。分散計算部４０２は図３（ａ）を例にと
って説明すると、四角形領域を図３（ａ）の形状に分割
したときに各小ブロックの分散Ｖ_a0，Ｖ_a1を計算する。
加算器４０３ではこの結果Ｖ_a0，Ｖ_a1を使って分割加算
値 Ｄ_a＝Ｖ_a0＋Ｖ_a1 …（２） を計算する。

【００２７】図３（ｂ）〜（ｄ）に関しても同様の処理
を行い、分散加算値Ｄ_b〜Ｄ_dを計算し、小ブロック形状
選択部４０４に出力し、ここで分散加算値が最小となる
小ブロック形状を選択する。ただし、原画像あるいは原
画像と復号画像との差分画像の各小ブロックの分散の大
きさによって小ブロックの分割形状を決めるため、復号
装置側では各ブロックの分散に関する情報がない。した
がって、小ブロック形状を示すフラグを復号側に送る必
要がある。

【００２８】図５は、図１における適応的小ブロック分
割決定部の更に他の構成例を示すブロック図で、図中、
５０１はエッジ検出部、５０２はエッジ近似部である。
エッジ検出部５０１は、四角形領域内に存在するエッジ
を検出する。エッジ検出のアルゴリズムとしては、微分
型のＲoberts，Ｐrewitt，Ｓobel，Ｌａｐｌａｃｉａｎ
などがあり、テンプレートマッチングの結果として得ら
れるタイプのオペレータとしては、Ｐｒｅｗｉｔｔ，Ｋ
irsch，Ｒobinsonなど様々な方法がある。

【００２９】エッジ検出部５０１によって検出されたエ
ッジを使って、エッジ近似部５０２では、図６に示すよ
うに検出されたエッジを近似する直線を求める。エッジ
を直線で近似する方法としては多くの方法があるが、一
例として最小二乗近似が挙げられる。ただし、付加情報
としてエッジを近似する直線を表す情報（例えば、直線
上の二点（ｘ₁，ｙ₁）,（ｘ₂，ｙ₂）など）を復号側に
送る必要がある。これは図４と同様の理由による。

【００３０】また、エッジを近似する方法として、図３
（ａ）〜（ｄ）の中でエッジに最も近い分割線をもつも
のを選択する方法もある。図６の例では、図３（ｃ）の
分割線に近いので、図３（ｃ）を選択する。この場合も
図３（ａ）〜（ｄ）の中のどの分割方法を選択したかを
示すフラグを復号側に送る必要がある。以上は、四角形
領域を一回のみ小ブロックに分割するのであったが、こ
れを再帰的に構成し、ある条件を満足するまで繰り返し
行うことも可能である。

【００３１】図７は、図１における適応的小ブロック分
割決定部の更に他の構成例を示すブロック図で、図中、
７０１はカウンタ、７０２は比較器、７０３はメモリ、
７０４は適応的小ブロック選択部、７０５はマルチプレ
クサである。

【００３２】カウンタ７０１は、四角形領域に属する画
素数をカウントする。ここでカウントした画素数とメモ
リ７０３から読み出したあらかじめ定められたしきい値
とを比較器７０２で比較し、四角形領域の画素数がしき
い値未満であれば、小ブロックに分割する処理を行わ
ず、四角形領域全体に直交変換符号化を施すことによ
り、符号化効率の低下を防ぐことができる。四角形領域
の画素数がしきい値以上であれば、適応的小ブロック選
択部７０４で四角形領域をどの形状の小ブロックに分割
するかを決定する。

【００３３】ここで適応的小ブロック選択部７０４は、
図２，図４，図５に示されるような構造をとる。該適応
的小ブロック選択部７０４からのフラグは、図４，図５
を選んだときに復号側で必要な分割の情報である。マル
チプレクサ７０５はブロック分割したか否かの情報をま
とめる。適応的小ブロック選択部７０４が選択されたら
ループバックでカウンタ７０１に戻る。これを適応的小
ブロック選択部７０４が選択されなくなるまで繰り返
す。

【００３４】図８は、本発明による動画像符号化装置の
他の実施例を説明するためのブロック図で、図中、８０
１はフレームメモリ、８０２は四角形領域検出／分割
部、８０３は直交変換部、８０４は量子化部、８０５は
可変長符号化部、８０６は符号バッファ、８０７は逆量
子化部、８０８は逆直交変換部、８０９はフレームメモ
り、８１０は動き補償部、８１１は格子点移動量検出
部、８１２は四角形領域／分割部、８１３はスイッチ、
８１４は小ブロック分割部、８１５は適応的小ブロック
分割決定部である。

【００３５】図８の構成は、図１と同じであるが、適応
的小ブロック分割部８１５への入力は、四角形領域検出
／分割部８０２ではなく、動き補償部８１０からであ
る。つまり、符号化対象フレームからではなく、参照フ
レームの四角形領域を小ブロックに分割したときの分散
値をもとにして符号化対象フレームを小ブロックに分割
することになる。従って、復号装置側では符号化装置側
と全く同じ参照フレームが得られ、この参照フレームか
ら分割情報が得られるので、図４で小ブロック形状選択
部４０４から復号側へ送っていたフラグは、図８では不
必要であり、付加情報を新たに加えなくてよいため、符
号化ビットを削減することができる。

【００３６】図９は、本発明による動画像符号化装置の
更に他の実施例を説明するためのブロック図で、図中、
９０１はフレームメモリ、９０２は四角形領域検出／分
割部、９０３は直交変換部、９０４は量子化部、９０５
は可変長符号化部、９０６は符号バッファ、９０７は逆
量子化部、９０８は逆直交変換部、９０９はフレームメ
モリ、９１０は動き補償部、９１１は格子点移動量検出
部、９１２は四角形領域検出／分割部、９１３はスイッ
チ、９１４は小ブロック分割部、９１５は適応的小ブロ
ック分割決定部である。

【００３７】図９の構成は、図１と同じであるが、適応
的小ブロック分割決定部９１５への入力は、四角形領域
検出／分割部９０２ではなく、動き補償部９１０と四角
形領域検出／分割部９１２との差分画像である。つま
り、図８のような参照フレームの分散ではなく、参照フ
レーム間の差分値の分散値をもとにして符号化対象フレ
ームを小ブロックに分割することになる。スイッチ９１
３でフレーム間符号化が選択される場合は、分散値は差
分画像から計算されるため、参照フレームの情報も差分
画像の方が効果的だと考えられるからである。従って復
号装置側では、符号化装置側と全く同じ参照フレームが
得られ、この参照フレームから分割情報が得られるの
で、図８と同様、付加情報を新たに加えなくてよく符号
化ビットを削減することができる。

【００３８】次に、動画像復号装置について説明する。
図１０は、本発明による動画像復号装置の一実施例を説
明するためのブロック図で、図中、１００１は可変長復
号部、１００２は逆量子化部、１００３は逆直交変換
部、１００４はブロック再配列部、１００５はフレーム
メモリ、１００６は動き補償部、１００７は四角形領域
検出／分割部、１００８は適応的小ブロック分割決定
部、１００９は小ブロック分割部、１０１０はスイッチ
である。

【００３９】可変長復号部１００１は、可変長符号化デ
ータを復号するためのものである。逆量子化部１００２
は、可変長復号部１００１で復号された量子化データを
逆量子化するためのものである。逆直交変換部１００３
は、逆量子化部１００２で逆量子化された変換係数に逆
直交変換を施すものである。四角形領域検出／分割部１
００７は、図１の四角形領域検出／分割部１１２と同じ
である。ブロック再配列部１００４は、四角形領域検出
／分割部１００７の出力である四角形形状をもとに逆直
交変換部１００３の出力結果を並び替える。フレームメ
モリ１００５は、既に復号された画像を格納するもので
ある。動き補償部１００６は、図１の動き補償部１１０
と同じである。

【００４０】図１０の適応的小ブロック分割決定部１０
０８、小ブロック分割部１００９以外は、図１９に示す
従来例と同じである。図１０における適応的小ブロック
分割決定部１００８、小ブロック分割部１００９は、そ
れぞれ図１の適応的小ブロック分割決定部１１５、小ブ
ロック分割部１１４と同じである。図２を図１の適応的
小ブロック分割決定部に採用した動画像符号化装置で作
られた符号化データは、同じく図２を図１０の適応的小
ブロック分割決定部に採用した動画像復号装置によって
復号することができる。スイッチ１０１０は、フレーム
内符号化の場合はオフに、フレーム間符号化の場合はオ
ンに切替える。

【００４１】また、図４及び図５を図１の適応的小ブロ
ック分割決定部に採用した動画像符号化装置で作られた
符号化データは、図４及び図５を図１０の適応的小ブロ
ック分割決定部に採用し、フラグで与えられた情報に従
って四角形領域を分割する動画像復号装置によって復号
することができる。さらに、図７を図１の適応的小ブロ
ック分割決定部に採用した動画像符号化装置で作られた
符号化データは、同じく図７を図１０の適応的小ブロッ
ク分割決定部に採用した動画像復号装置によって復号す
ることができる。

【００４２】図１１は、本発明による動画像復号装置の
実施例を説明するためのブロック図で、図中、１１０１
は可変長復号部、１１０２は逆量子化部、１１０３は逆
直交変換部、１１０４はブロック再配列部、１１０５は
フレームメモリ、１１０６は動き補償部、１１０７は四
角形領域検出／分割部、１１０８は適応的小ブロック分
割決定部、１１０９は小ブロック分割部、１１１０はス
イッチである。図１１の構成は、図１０と同じである
が、動き補償部１１０６からの出力が適応的小ブロック
分割決定部１１０８に入力される点が異なっている。こ
のような構成により、図８の動画像符号化装置で作られ
た符号化データは、図１１の動画像復号装置によって復
号することができる。

【００４３】図１２は、本発明による動画像復号装置の
更に他の実施例を説明するためのブロック図で、図中、
１２０１は可変長復号部、１２０２は逆量子化部、１２
０３は逆直交変換部、１２０４はブロック再配列部、１
２０５はフレームメモリ、１２０６は動き補償部、１２
０７は四角形領域検出／分割部、１２０８は適応的小ブ
ロック分割決定部、１２０９は小ブロック分割部、１２
１０はスイッチである。

【００４４】図１２の構成は、図１０と同じであるが、
図１１に示した構成の外に、四角形領域検出／分割部１
２０７の出力と動き補償部１２０６の出力との差分値
が、適応的小ブロック分割決定部１２０８に入力される
点が異なっている。このような構成により、図９の動画
像符号化装置で作られた符号化データは、図１２の動画
像復号装置によって復号することができる。

【００４５】このように、本発明の動画像符号化装置及
び復号装置においては、四角形領域をさらに小さい小ブ
ロックに分割する小ブロック分割部を有する。四角形領
域を分割してできた小ブロックには、例えば、図３
（ａ）〜（ｄ）に示すような形状のものがある。また、
図３に示す小ブロックの中から対象としている四角形領
域に最適な分割方法を選択するためには、分割後の複数
個の小ブロックに含まれる画素数がほぼ同じになるよう
に分割を行う分割手段を設ける。なお、図１３（ａ）〜
（ｄ）は、図３（ａ）〜（ｄ）の小ブロックを更に分割
した時の形状を示している。

【００４６】また、本発明の目的を達成するためには、
分割後の小ブロックの分散の和が最小になるものを選ぶ
手段を設ける。また、四角形領域の中に存在するエッジ
を検出し、この検出されたエッジを境界としてブロック
を分割する手段を設ける。四角形領域を制限なく小ブロ
ックに分割することは符号化効率の低下を招くため、四
角形領域に含まれる画素数をカウントし、画素数があら
かじめ定められたしきい値以上のものについてだけ前記
ブロック分割を行い、しきい値未満の四角形領域につい
ては小ブロック分割を行わないようにする手段を設け
る。また、四角形領域を分割した小ブロックにおいて、
小ブロックに含まれる画素数があらかじめ定められたし
きい値以上になる場合はさらに小ブロックを分割する手
段を設ける。

【００４７】前記動画像符号化装置によって作成された
符号化データを復号するため、復号装置に対応する符号
化装置と同一の方法で四角形領域を小ブロックに分割し
たときに複数個の小ブロックに含まれる画素数をほぼ同
じにする分割手段を設ける。また、復号装置に対応する
符号化装置と同一の方法で分割方法を示す情報をもとに
指定された方法で四角形領域を小ブロックに分割する手
段を設ける。また、復号装置に対応する符号化装置と同
一の方法でエッジの位置を示す情報をもとにエッジに沿
って四角形領誠を小ブロックに分割する手段を設ける。
さらに、復号装置に対応する符号化装置と同一の方法で
四角形領域の画素数をカウントし、画素数があらかじめ
定められたしきい値以上の時のみ小ブロックに分割する
分割手段を設ける。

【００４８】以上のようにして画像を均一な性質を有す
る任意形状の四角形領域に分割し、これをさらに小ブロ
ックに分割することによって、符号化効率を低下させる
ことなく、動画像符号化装置および動画像復号装置の回
路規模を小さくできる。なお、ここで使用した“あらか
じめ定められたしきい値”は論理的あるいは経験的に求
められた値である。

【００４９】

【発明の効果】以上の説明から明らかなように、本発明
によると、以下のような効果がある。 （１）画像を均一な性質を有する複数個の任意形状の四
角形領域に分割し、この四角形領域をさらに小ブロック
に分割して直交変換符号化を施すため、直交変換符号化
部の回路を大きくする必要がない。 （２）また、四角形領域から小ブロックに分割した後、
小ブロックに含まれる画素が多い時には小ブロックを再
分割してさらに小さいブロックを作り、このブロックに
対して直交変換符号化を施すため、直交変換符号化部の
回路を大きくする必要がない。 （３）四角形領域を小ブロックに分割するときにどのよ
うな分割を行うかの基準として、各小ブロックに属する
画素数、符号化対象フレームの小ブロックの分散、四角
形領域に含まれるエッジ情報、あるいは参照フレームに
おける小ブロックの分散などを用いるため、効率良く符
号化することができる。 （４）四角形領域を小ブロックに分割するときに、もと
もと小ブロックに含まれる画素数が少ない場合には小ブ
ロックへの分割を中止し、四角形領域に対して変換符号
化を施すため、ブロック分割による符号化効率の低下を
防ぐことができる。

【図面の簡単な説明】

【図１】本発明による動画像符号化装置の一実施例を説
明するためのブロック図である。

【図２】図１における適応的小ブロック分割決定部の一
構成例を示す図である。

【図３】本発明における小ブロック分割の形状の一例を
示す図である。

【図４】図１における適応的小ブロック分割決定部の他
の構成例を示す図である。

【図５】図１における適応的小ブロック分割決定部の更
に他の構成例を示すブロック図である。

【図６】本発明における四角形領域に含まれるエッジの
近似直線の説明図である。

【図７】図１における適応的小ブロック分割決定部の更
に他の構成例を示すブロック図である。

【図８】本発明による動画像符号化装置の他の実施例を
説明するためのブロック図である。

【図９】本発明による動画像符号化装置の更に他の実施
例を説明するためのブロック図である。

【図１０】本発明による動画像復号装置の一実施例を説
明するためのブロック図である。

【図１１】本発明による動画像復号装置の他の実施例を
説明するためのブロック図である。

【図１２】本発明による動画像復号装置の更に他の実施
例を説明するためのブロック図である。

【図１３】図３の小ブロックを更に分割した時の形状を
示す図である。

【図１４】動画像符号化方式における変形格子の一例を
示す図である。

【図１５】従来の動画像符号化装置の一構成例を示すブ
ロック図である。

【図１６】動画像符号化方式における格子点の検出方法
の一例を示す図である。

【図１７】動画像符号化方式における格子点移動量検出
の説明図である。

【図１８】動画像符号化方式におけるアフィン変換の一
例を示す図である。

【図１９】従来の動画像復号装置の一構成例を示すブロ
ック図である。

【符号の説明】

１０１，１０９，８０１，８０９，９０１，９０９，１
００５，１１０５，１２０５，１５０１，１５０９，１
９０５…フレームメモリ、１０２，１１２，８０２，８
１２，９０２，９１２，１００７，１１０７，１２０
７，１５０２，１５１２，１９０７…四角形領域検出／
分割部、１０３，８０３，９０３，１５０３…直交変換
部、１０４，８０４，９０４，１５０４…量子化部、１
０５，８０５，９０５，１５０５…可変長符号化部、１
０６，８０６，９０６，１５０６…符号バッファ、１０
７，８０７，９０７，１００２，１１０２，１２０２，
１５０７，１９０２…逆量子化部、１０８，８０８，９
０８，１００３，１１０３，１２０３，１５０８，１９
０３…逆直交変換部、１１０，８１０，９１０，１００
６，１１０６，１２０６，１５１０，１９０６…動き補
償部、１１１，８１１，９１１，１５１１…格子点移動
量検出部、１１３，８１３，９１３，１１１０，１０１
０，１２１０，１５１３，１９０８…スイッチ、１１
４，２０１，４０１，８１４，９１４，１００９，１１
０９，１２０９…小ブロック分割部、１１５，８１５，
９１５，１００８，１１０８，１２０８…適応的小ブロ
ック分割決定部、２０２，７０１…カウンタ、２０３…
差分絶対値計算部、２０４，４０４…小ブロック形状選
択部、４０２…分散計算部、４０３…加算器、５０１…
エッジ検出部、５０２…エッジ近似部、７０２…比較
器、７０３…メモリ、７０４…適応的小ブロック選択
部、７０５…マルチプレクサ、１００１，１１０１，１
２０１，１９０１…可変長復号部、１００４，１１０
４，１２０４，１９０４…ブロック再配列部。

Claims (12)

【特許請求の範囲】
1. 【請求項１】 画像を複数個の任意形状の四角形領域に
   分割して処理の単位とする動画像符号化装置において、
   前記任意形状の四角形領域を適応的に小ブロックに再分
   割する形状を決定する適応的小ブロック分割決定部と、
   該適応的小ブロック分割決定部で決定された分割方法を
   用いて前記任意形状の四角形領域を小ブロックに再分割
   する小ブロック分割部とを設けたことを特徴とする動画
   像符号化装置。
2. 【請求項２】 前記適応的小ブロック分割決定部を、各
   小ブロックに属する画素数をカウントするカウンタと、
   各小ブロックの画素数の差分絶対値をとる差分絶対値計
   算部と、該差分絶対値計算部による差分絶対値を最小と
   する小ブロックの形状を選択するブロック形状選択部と
   により構成することを特徴とする請求項１記載の動画像
   符号化装置。
3. 【請求項３】 前記適応的小ブロック分割決定部を、各
   小ブロックの分散を計算する分散計算部と、該分散計算
   部の出力結果である各小ブロックの分散の和を計算する
   加算器と、該加算器による分散値和を最小とする小ブロ
   ックの形状を選択するブロック形状選択部とにより構成
   することを特徴とする請求項１記載の動画像符号化装
   置。
4. 【請求項４】 前記適応的小ブロック分割決定部を、四
   角形領域内のエッジを検出するエッジ検出部と、該エッ
   ジ検出部からの出力結果であるエッジ位置を基にしてエ
   ッジを近似するエッジ近似部とにより構成することを特
   徴とする請求項１記載の動画像符号化装置。
5. 【請求項５】 前記適応的小ブロック分割決定部を、参
   照フレームにおける小ブロックの分散を計算する分散計
   算部と、該分散計算部の出力結果である各小ブロックの
   分散の和を計算する加算器と、該加算器による分散値和
   を最小とする小ブロックの形状を選択するブロック形状
   選択部とにより構成することを特徴とする請求項１記載
   の動画像符号化装置。
6. 【請求項６】 前記適応的小ブロック分割決定部を、二
   枚の参照フレームの差分画像における小ブロックの分散
   を計算する分散計算部と、該分散計算部の出力結果であ
   る各小ブロックの分散の和を計算する加算器と、該加算
   器による分散値和を最小とする小ブロックの形状を選択
   するブロック形状選択部とにより構成することを特徴と
   する請求項１記載の動画像符号化装置。
7. 【請求項７】 前記適応的小ブロック分割決定部を、四
   角形領域あるいは小ブロック全体の画素数をカウントす
   るカウンタと、該カウンタからの出力結果とあらかじめ
   定められたしきい値とを比較する比較器とにより構成
   し、前記四角形領域あるいは小ブロックの画素数が、し
   きい値未満であれば、前記四角形領域あるいは小ブロッ
   クを分割せず、しきい値以上であれば、請求項２，３又
   は４に記載した方法で前記四角形領域あるいは小ブロッ
   クを再分割することを特徴とする請求項２〜６いずれか
   １項に記載の動画像符号化装置。
8. 【請求項８】 請求項１記載の動画像符号化装置で作成
   された符号化データを復号するために、任意形状の四角
   形領域を適応的に小ブロックに再分割する形状を決定す
   る適応的小ブロック分割決定部と、該適応的小ブロック
   分割決定部で決定された分割方法を用いて前記任意形状
   の四角形領域を小ブロックに再分割する小ブロック分割
   部とを設けたことを特徴とする動画像復号装置。
9. 【請求項９】 前記適応小ブロック分割決定部を、再分
   割した各小ブロックに属する画素数をカウントするカウ
   ンタと、各小ブロックの画素数の差分絶対値を計算する
   差分絶対値計算部と、該差分絶対値計算部による差分絶
   対値を最小とする小ブロックの形状を選択するブロック
   形状選択部とにより構成することを特徴とする請求項８
   記載の動画像復号装置。
10. 【請求項１０】 前記適応的小ブロック分割決定部を、
    参照フレームにおける小ブロックの分散を計算する分散
    計算部と、該分散計算部の出力結果である各小ブロック
    の分散値和を計算する加算器と、該加算器による分散値
    和を最小とする小ブロックの形状を選択するブロック形
    状選択部とにより構成することを特徴とする請求項８記
    載の動画像復号装置。
11. 【請求項１１】 前記適応的小ブロック分割決定部を、
    二枚の参照フレームの差分画像における小ブロックの分
    散を計算する分散計算部と、該分散計算部の出力結果で
    ある各小ブロックの分散値和を計算する加算器と、該加
    算器による分散値和を最小とする小ブロックの形状を選
    択するブロック形状選択部とにより構成することを特徴
    とする請求項８記載の動画像復号装置。
12. 【請求項１２】 前記適応的小ブロック分割決定部を、
    四角形領域あるいは小ブロックの画素数をカウントする
    カウンタと、該カウンタからの出力をあらかじめ定めら
    れたしきい値と比較する比較器とにより構成し、前記四
    角形領域あるいは小ブロックの画素数が、しきい値以上
    ならば、請求項８又は９記載の方法で再分割し、しきい
    値未満ならば、再分割しない決定を行うことを特徴とす
    る請求項９，１０又は１１記載の動画像復号装置。