JPH09121359A

JPH09121359A - 画像符号化方法および画像復号化方法

Info

Publication number: JPH09121359A
Application number: JP27862895A
Authority: JP
Inventors: Yoshinori Suzuki; 芳典鈴木; Yuichiro Nakaya; 雄一郎中屋
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1995-10-26
Filing date: 1995-10-26
Publication date: 1997-05-06

Abstract

(57)【要約】【課題】算術符号を用いて伝送値を符号化する際、使
用する確率テーブルが不適合の場合に圧縮効率が低下す
るという問題が発生する。【解決手段】符号化側および再生側にとって既知であ
る複数の確率モデルの中から数フレームまたはフィール
ドにつき１つのモデルを選択し、その選択されたモデル
に対応する確率テーブルを用いて伝送値の符号化を行
う。【効果】各フレームの統計的性質に近似した確率モデ
ルに対応する確率テーブルを用いて伝送値の算術符号化
を行うことが可能となり、符号化情報量を抑制すること
ができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル画像情
報の符号化方法および復号化方法に関し、特にディジタ
ル動画像の高能率符号化方法および復号化方法に関す
る。

【０００２】

【従来の技術】ディジタル動画像の高能率符号化におい
て、時間的に隣接するフレーム間の相関を利用した動き
補償方式は、大きな圧縮効果を生むことが知られてい
る。この動き補償を符号化方式に採用した場合、必然的
に動きベクトル情報が発生し、復号処理を行う画像再生
装置側では、符号化処理装置側と共通の動きベクトル情
報を生成しなければならない。このため、動画像符号化
における国際標準方式であるＨ．２６１、ＭＰＥＧ１、
ＭＰＥＧ２などでは、隣接ブロック（例えば、直左ブロ
ック）との差分動ベクトルの水平、垂直成分の情報を含
む符号化ビットストリームを作成し、画像再生装置側に
伝送することを規定している。これらの方式において、
上記符号化ビットストリームは、エントロピー符号化の
一種として知られているハフマン符号化により生成され
る。エントロピー符号化は、符号化情報の出現確率の偏
りを利用した効率のよい符号割り当てにより、データ量
を圧縮している。

【０００３】上述した動きベクトル、差分動きベクト
ル、エントロピー符号化、ハフマン符号化等の既成技術
および上記標準方式については、例えば「藤原洋著、
「最新ＭＰＥＧ教科書」、アスキー、１９９４．８．
１」に記載されている。なお、Ｈ．２６３では、オプシ
ョンとして、エントロピー符号の一種であり、伝送値を
１ビット以下の情報量で符号化可能な算術符号（Ｍ．ネ
ルソン、「データ圧縮ハンドブック」、トッパン、１９
９４．３．３１）の使用についても検討されている。上
記標準方式となっている符号化処理および復号化処理
は、それぞれ１６×１６画素の輝度信号と、８×８画素
の２つの色差信号とから構成される「マクロブロック」
と呼ばれる構造を採用している点で共通している。

【０００４】図３と図４は、動画像を符号化するための
従来の符号化処理装置の構成と符号化ビットストリーム
のフォーマットを示す。従来装置では、入力画像１は予
測用フレームメモリ２に順次に書き込まれ、制御部８−
３がこれを参照して、ピクチャタイプと各マクロブロッ
クのタイプを順次決定する。制御部８−３は、上記マク
ロブロックタイプに応じて、動き補償部４−３、変換器
１１、量子化器１２を制御する。また、ピクチャタイプ
と順次決定されたマクロブロックのヘッダコードを符号
化処理部１５に通知する。

【０００５】動き補償部４−３は、例えばブロックマッ
チング法とよばれる動き補償方式によって、各マクロブ
ロック毎に動きベクトルの水平／垂直成分を検出し、こ
れらの値を動きベクトル用メモリ４４および予測画像作
成部４２−３に出力する動き検出処理部４１−３と、上
記動きベクトル用メモリ４４に書き込まれた動きベクト
ルの各成分に基づいて予測動きベクトルが生成する動き
ベクトル予測処理部４５と、この予測動きベクトルと上
記動きベクトル用メモリ４４に書き込まれた動きベクト
ルとの差分をとり、差分値を符号化処理部１５に出力す
る差分処理部４６と、予測誤差検出部４３とからなる。

【０００６】上記予測処理は動きベクトル処理部４５に
より行われる動きベクトルの予測方法は多様であり、例
えば、直左の動きベクトルの各成分を予測値とする。予
測画像作成部４２−３では、与えられた動きベクトルに
該当する画像部分を予測用フレームメモリ２に存在する
前フレームの再生画像から取り出して、予測画像を作成
する。予測誤差検出部４３は、この予測画像信号と予測
用フレームメモリ２に存在する現フレームの画像信号と
から、予測誤差信号を検出する。上記予測誤差信号は、
変換器１１によって直交変換され、量子化器１２によっ
て量子化された情報が符号化処理部１５に出力される。
１３は局部復号処理部であり、上記量子化器１２の出力
信号を逆量子化、逆変換することにより、伝送誤りが起
こらなければ復号化側で得られると推定される予測誤差
信号の再生値を求め、これを予測画像作成部４２−３か
ら与えられた予測画像と加算することにより再生画像を
作成する。この再生画像は、次フレームの動き補償処理
に用いるために予測用フレームメモリ２に蓄積される。
符号化処理部１５は、差分処理部４６、量子化器１２お
よび制御部８−３から与えられたシンボル系列をハフマ
ン符号化、または算術符号化によって符号化することに
よって、図４に示すようなビットストリーム形式に変換
する。上記符号化処理部から出力されたビットストリー
ムは、出力バッファ１６に一旦蓄えられた後、フレーム
（あるいはフィールド）毎の符号化ビットストリーム１
８−３として出力される。

【０００７】図４に示すように、各符号化ビットストリ
ームは、符号化フレームの予測タイプなどの情報を含む
ピクチャヘッダ情報２１と、これに続く複数のマクロブ
ロックレイヤ情報２８とからなる。各マクロブロックレ
イヤ情報は、符号化マクロブロック情報の予測タイプな
どの情報を含むマクロブロックヘッダ情報２８１と、水
平、垂直の２成分から成る差分動きベクトル成分を含む
差分動きベクトル成分情報２８２と、画像情報の誤差信
号の変換、量子化値を含む変換符号化情報２８３とから
成る。１つの画像フレーム内の全てのマクロブロック情
報が符号化され、最終マクロブロックの情報が符号化さ
れると、次フレームの符号化処理に移り、新たなピクチ
ャヘッダ情報２１が生成される。画像再生装置（復号
側）に伝送すべき全てのシンボル系列の符号化が完了す
ると、ビットストリームの最後を示すシーケンス終了情
報２９が送出される。

【０００８】このように、従来の方式では、動きベクト
ルの各成分は、マクロブロックで発生する復号側に伝送
すべきシンボル系列の１部として符号化されている。差
分動きベクトルの水平、垂直の２成分がいずれも「０」
で、伝送すべき誤差画像の量子化値も存在しない場合
は、これをヘッダ情報で示し、差分動きベクトル成分情
報と変換符号化情報の送信は省略される。しかしなが
ら、マクロブロックの制約が強いため、Ｈ．２６３で規
定している算術符号化では、ヘッダコードを含めたマク
ロブロック内の全ての伝送値が算術符号により符号化さ
れている。

【０００９】

【発明が解決しようとする課題】上述した従来の画像符
号化方法によれば、特に算術符号を用いて伝送値を符号
化するとき、使用する確率テーブルが入力画像に不適合
の場合に圧縮効率が低下するという問題がある。本発明
の目的は、圧縮効率の高い画像符号化方法および復号化
方法を提供することにある。本発明の他の目的は、画像
符号化および復号化に適した符号化テーブルを生成する
ための符号化モデルテーブルの生成方法を提供すること
にある。

【００１０】

【課題を解決するための手段】上記目的を達成するため
に、本発明では、画像符号化装置側および再生装置（復
号化装置）側において、それぞれ異なった確率モデルと
対応する複数の符号化テーブルを用意しておき、画像符
号化装置側で入力画像の数フレーム（またはフィール
ド）毎に最適な確率モデルを選択し、選択された確率モ
デルと対応した符号化テーブルを適用して伝送値の符号
化を行う。選択した確率モデルを示す情報は、各フレー
ム毎にマクロブロックレイヤ情報に先行して送信され、
復号側では、受信した符号化ビットストリームから抽出
されたモデル選択情報によって特定された復号化テーブ
ルを適用して、後続する符号化情報を復号化する。

【００１１】更に詳述すると、本発明では、画像符号化
装置（または復号化装置）が、差分動きベクトル成分情
報を符号化（または復号化）するために複数の符号化
（または復号化）テーブルと、各マクロブロックで画像
情報を符号化するための変換テーブルとを備え、差分動
きベクトル成分情報を符号化するための符号化テーブル
を数フレーム毎に入力画像に応じて切り換え、各マクロ
ブロックの画像情報は同一の符号化テーブルを用いて符
号化する。なお、差分動きベクトル成分情報は、各フレ
ーム内の複数のマクロブロックに共用させてもよいし、
各マクロブロック毎に与えてもよい。

【００１２】

【発明の実施の形態】以下に実施例では、隣接する画素
が異なる動きベクトルを持つことを許容する動き補償方
式を採用することとし、変換関数には、例えば、中屋
他、「３角形パッチに基づく動き補償の基礎検討」、電
子情報通信学会技術報告（ＩＥ９０−１０６、平２−０
３）に紹介されているアフィン変換を用いた場合を想定
して説明を行う。上記アフィン変換を用いた方式によれ
ば、予測画像が矩形のブロック構造に既定されないた
め、平行移動のみを仮定しているブロックマッチング法
とは異なり、剛体の回転や変形にも対処することができ
る。また、予測と符号化に一貫したマクロブロック構造
が存在しないため、本実施例では、予測誤差信号の符号
化と動き情報の符号化は別々に取り扱うことにする。

【００１３】図１は、本発明による符号化処理部のを示
し、４は動き補償部、５３は動きベクトルの水平／垂直
成分、６は動きベクトル符号化処理部、６９は差分動き
ベクトルの水平／垂直成分、１４は、動きベクトル符号
化処理部６で符号化される差分動きベクトル成分情報以
外の送信情報を符号化するための汎用符号化処理部であ
る。これらの要素以外の他の要素は図３に示した従来方
式のものと対応しているため、詳細説明を省略する。上
記動き補償部４と動きベクトル符号化処理部６の小差に
ついては、図５を参照して後述する。

【００１４】図２は、上記符号化処理部によって得られ
る符号化ビットストリームを示す。図２において、２１
はピクチャヘッダ情報、２３はモデル選択情報、２５は
差分動きベクトル成分情報、２７はマクロブロックレイ
ヤ情報であり、各マクロブロックレイヤ情報には、マク
ロブロックヘッダ情報２７１と変換符号化情報２７３と
が含まれる。モデル選択情報２３は、後続する差分動き
ベクトル成分情報２５の符号化に適用された確率モデル
およびこれと対応する符号化テーブルを識別するための
識別情報を含む。

【００１５】図５において、動き検出処理部４１、予測
画像作成部４２、予測誤差検出部４３、動きベクトル用
メモリ４４は図３に示したものと対応する。４５は動き
ベクトル予測処理部、６４はモデル検出処理部、６５は
算術符号化処理部でありる。本実施例では、汎用符号化
処理部１４とば独立して、動きベクトル符号化処理部６
を設け、この中にあるモデル検出処理部６４において、
フレーム毎に差分動きベクトルの各成分の符号化に用い
る確率モデルを検出し、その確率モデルに対応する確率
テーブル（符号化テーブル）を適用して差分動きベクト
ルの各成分を算術符号化するようにしたことを特徴とす
る。

【００１６】図１において、入力画像１は予測用フレー
ムメモリ２に蓄積され、制御部８によって入力画像のピ
クチャタイプが決定され、ピクチャヘッダコードが制御
部８から汎用符号化処理部１４に通知され、ヘッダ情報
２１として符号化された後、出力バッファ１６へ一旦出
力される。次に、動き補償部４が、予測用フレームメモ
リの記憶情報を参照して、予測信号の作成と予測誤差信
号の検出を行い、その際に発生する差分動ベクトルの水
平／垂直成分５３を差分動きベクトル成分の符号化処理
部６へ通知する。

【００１７】差分動きベクトル成分の符号化処理部６で
は、後述する確率モデル適応処理を行った後、選択され
た確率モデルに対応する確率テーブルを用いて、１フレ
ーム分の差分動きベクトル成分の系列を算術符号化処理
する。この差分動きベクトル成分系列の符号化情報は、
汎用符号化処理部１４が出力するマクロブロックレイヤ
情報２７に先立って、１フレーム分纏めて算術符号化さ
れ、出力バッファ１６へ出力される。一方、動き補償部
４で検出された予測誤差信号は、変換器１１により直交
変換された後、量子化器１２により量子化され、汎用符
号化処理部１４でエントロピー符号化される。また、動
き補償部４で作成された予測画像は、局部復号処理部１
３に送られる。局部復号処理部１３は、量子化器１３が
出力する量子化値を逆量子化および逆変換することによ
って予測誤差信号の再生値を求め、予測画像と加算して
再生画像を再現する。この再生画像は予測用フレームメ
モリ２に蓄積され、次フレームの動き補償処理に用いら
れる。このようにすると、復号側に実際に存在する再生
画像に近い状態で動き補償が行えるため、符号化側と復
号化側のミスマッチが減少する。

【００１８】なお、上記の汎用符号化処理で行うエント
ロピー符号化の方式については、例えば、ハフマン符号
化が適用される。しかしながら、本発明は他の方式のも
のを採用してもよい。ここで重要な点は、以下に示すよ
うに符号化ビットストリームを作成することにより、汎
用符号化処理部１４で行っている符号化方法とは独立し
て、差分動きベクトルの２成分が入力画像に適合した最
適な確率モデル（符号化テーブル）を選択しながら算術
符号化されるという点である。出力バッファ１６では、
幾つかの情報源から得られたシンボル系列を、図２に示
す符号化ビットストリーム１８の順序で伝送路に出力す
る。このビットストリームは、符号化フレームの予測タ
イプなどを含むピクチャヘッダ情報２１をフレームの先
頭として、確率モデルの識別子を含むモデル選択情報２
３と、差分動きベクトル成分を含む差分動きベクトル成
分情報４５と、画像情報の変換情報を含む複数のマクロ
ブロックレイヤ情報４７（マクロブロックヘッダ５１、
変換符号化情報５３）が続く。

【００１９】図５において、動き検出処理部４１は、予
測用フレームメモリ２を参照して予測信号を作成し、発
生する全ての動きベクトルの水平／垂直成分５１を動き
ベクトル用メモリ４４に書き込む。動きベクトル用メモ
リ４４の内容は、入力された動きベクトル成分によって
随時更新され、これを参照して、動きベクトル予測処理
部４５が、予測画像が完成するまで動きベクトルの予測
値５２（例えば、直左パッチ頂点、存在しない場合は直
上、または０）を動き補償部へ戻していく。これによっ
て、差分動ベクトルの水平／垂直成分５３が共に「０」
となる確率が高くなるように、動き補償部４における動
き検出の評価関数が設定される。具体的には、差分動き
ベクトルの２成分が共に「０」となる場合、すなわち予
測動きベクトルの水平／垂直成分５２が探索中の動きベ
クトルの水平／垂直成分と２成分とも一致する場合に、
評価関数（本実施例では、探索領域内の原画像に対する
予測誤差信号の絶対値和を仮定）の値から所定値、例え
ば「１５０」を減算するように設定すればよい。

【００２０】予測画像が完成すると、差分処理部４６に
よって、１フレームのすべての動きベクトル成分と予測
動きベクトルとの差分が取られ、差分動きベクトル成分
３５の系列としてモデル検出処理部６４に連続的に出力
される。確率モデルの検出後、１フレーム分の差分動き
ベクトル成分の系列は、選択された確率モデルを識別す
る選択モデル番号３７と共に、算術符号化処理部６５に
て算術符号化される。確率モデルの検出方法については
後で詳しく説明するが、１フレーム分の差分動きベクト
ル成分の系列において値「０」を意味するシンボル（差
分動きベクトルの成分を情報源とした事象のうち差分値
「０」を意味する情報源シンボルのこと）の出現確率に
よって、符号化側、復号化側にとって既知である８種類
の確率モデルの中からフレーム毎に適合するモデルを選
択している。したがって、各フレームに適用される確率
モデルは、出現確率の高い差分動きベクトル成分の
「０」の頻度に関してはほぼ適合しているものとなる。
この効果は次の通りである。算術符号は使用するモデル
テーブルとの適合性により、その圧縮効果は大幅に向上
する。特に、１つの特定の事象に大きな頻度の偏りが生
じた場合の効果は絶大である。その意味から動きの極め
て少ない画像の場合には全体の８５％以上、動きの激し
い画像でも５０％以上が値「０」となる差分動きベクト
ル成分の場合、モデルさえ一致すればその導入効果は大
きい。従って、本実施例のようにフレーム毎に符号化に
用いるモデルテーブルを切り換えることで圧縮効率は向
上する。また、１つの特定の事象への頻度の偏りが大き
いほど圧縮効率が高いという理由から、許容される範囲
であれば差分動ベクトルの水平または垂直成分の値を
「０」に抑え込んだ方が良い。上記の動き補償において
動き検出における評価関数を差分動ベクトルの成分が
「０」になる確率が高くなるように意図的に設定するの
はその理由からである。

【００２１】次に、本実施例で使用した確率モデルにつ
いて説明する。算術符号化を行うためには、それに使用
する確率テーブルを符号化側と復号化側に用意しなけれ
ばならない。本実施例では、各パッチ頂点の移動範囲を
整数画素上のみで、水平、垂直方向とも「±１５」と仮
定することにする。すると、差分動きベクトルの水平、
垂直成分を情報源とする事象は「−３０」から「３０」
の値で６１個存在する。

【００２２】本実施例では簡単のため、各事象とそれを
意味する情報源シンボルの値を一致させることにする。
このうち０シンボル、すなわち差分動きベクトル成分の
「０」を特定シンボルとする。その１フレーム内での特
定シンボルの出現確率の近似値が９割、８割、７割、６
割、５割、４割、３割、２割となる８種類の確率モデル
を選択対象として定義する。これは、符号化に先立って
予め既知でなければならない。しかしながら、統計的に
異なった多くの実データを用いて汎用的な確率モデル
と、それに対応する確率テーブルを作成することが可能
である。具体的には、例えば、１フレーム分の差分動き
ベクトル成分系列における各シンボルの出現確率から各
確率モデルを作成し、それに対応する算術符号化のため
の確率テーブルを符号化側と復号化側にそれぞれ８種類
用意すればよい。ここで８種類としているのは、符号化
効率と演算処理量を考慮すると、８種類が妥当と考えら
れるためである。さらにこの確率モデル自体について
も、その出現確率の実データを用いてその出現確率に対
応する確率テーブルを符号化側と復号化側にそれぞれ用
意することができる。テーブルの作成法については後程
説明するが、符号化側では算術符号化処理部６５に算術
符号用モデルテーブル作成部１０を備えることによって
作成できる。但し、モデル作成の対象とする情報源のシ
ンボル数と、そのうちの特定シンボルの情報、および、
どの単位で確率モデルを選択するかについての情報が必
要になる。

【００２３】図６は、モデル検出処理部６４の詳細、図
７は、モデル判定の過程を示すフローチャートを示す。
図６において、カウンター６４１は、入力された全ての
差分動きベクトルの１成分６６を１フレーム分カウント
し、続いて入力値０のカウンター５３で差分動きベクト
ルの１成分の値が「０」、すなわちシンボル「−３０」
からシンボル「３０」のうちシンボル「０」の数をカウ
ントする。除算処理部６４５では、１フレームにおける
シンボル０の出現確率６４９、ここでは１フレームにお
ける差分動ベクトルの１成分が「０」となる確率が算出
される。

【００２４】モデル判定処理部６４７では、図７に示す
ように、まず入力された確率６４７１にステップ６４７
４で値「１０」を掛けた後、ステップ６４７５で小数点
以下第１位を四捨五入する。これによって、０〜１０の
整数に近似される。本実施例では、これをステップ６４
７６、６４７７、６４７８、６４７９により「２」〜
「９」までの値に制限した上で選択モデル番号が確定さ
れる。

【００２５】図８は復号化処理の構成、図９は動きベク
トル復号化の詳細を示す。図８において、８４は汎用復
号処理部、８２は動きベクトル復号化処理部、８３は予
測画像再生部、８８は再生用フレームメモリを示す。ま
た、図９において、８２１は算術符号復号化処理部、８
２４は動きベクトル予測処理部、８２３は動きベクトル
用メモリ、８２５は差分動きベクトルの水平、垂直再生
成分、８２６は動きベクトルの水平、垂直再生成分を示
す。図８において、入力バッファ８１に蓄積された符号
化ビットストリーム１８のうち、モデル選択情報２３と
差分動きベクトル成分情報２５は動きベクトル復号化処
理部８２に入力され、マクロブロックレイヤ情報２７は
汎用復号化処理部８４に入力される。

【００２６】モデル選択情報２３と差分動きベクトル成
分情報２５のビット系列は、動きベクトル復号化処理部
８２で差分動きベクトルの各成分に再生され、それと再
生用フレームメモリ８８内の前フレームの再生画像を用
いて予測画像部再生部８３が予測画像を再生する。変換
符号化情報２７３のビット系列は、汎用復号化処理部８
４で誤差画像の量子化値に復号された後、逆量子化器８
５、逆変換器８６で予測誤差画像に再生され、再生画像
作成部８７に入力される。再生画像作成部８７は、予測
画像の再生値と予測誤差信号の再生値から再生画像情報
を作成する。この再生画像情報は、一旦再生用フレーム
メモリに蓄積された後、再生画像８９として出力され
る。

【００２７】図９は予測画像再生処理部８２の詳細を示
す。算術符号復号化処理部８２１は、モデル選択情報２
３を選択モデル番号に復号化し、そのフレームの符号化
に使用した確率モデルを選択する。次に、選択された確
率モデルに対応する確率テーブルを用いて、差分動きベ
クトル成分情報２５を差分動きベクトルの各再生成分す
なわち再生シンボル８２５に再生し、それを加算処理部
８２２に出力する。この際、符号化側の確率テーブルと
全く同じものを算術復号化処理部８２１が保持していな
ければならないが、本実施例では予め作成した９種類の
確率テーブルを符号化側と再生側が保持していることを
仮定しているため、再生は可能である。

【００２８】加算処理部８２２では、入力された差分動
きベクトルの再生成分を、動きベクトル予測処理部８２
７が符号化側と同じ方法を用いて予測した予測動きベク
トルの水平、垂直成分８２７と加算した後、動きベクト
ルの水平、垂直再生成分８２６として動きベクトル用メ
モリ８２３に出力する。そして、予測画像再生処理部８
３は動きベクトル用メモリ８２３から再生動きベクトル
の水平、垂直成分を取り出し、その値と再生用フレーム
メモリの画像情報を用いて予測画像が再生する。なお、
確率テーブルは算術符号復号化処理部８２１からの再生
シンボルの系列を入力とする算術符号用モデルテーブル
作成部１０においても作成できる。但し、モデル作成の
対象とする情報源のシンボル数とそのうちの特定シンボ
ルの情報、そしてどの単位で確率モデルの選択を行うか
についての情報が必要になる。

【００２９】図１０は、算術符号用モデルテーブル作成
部の詳細図、図１１はトレーニング処理のフローチャー
ト、図１２は算術符号を行うための確率テーブルの説明
図である。トレーニングデータ作成部１０１１におい
て、図１１に示すように、ある１フレームに適用される
モデル選択番号とその１フレーム分の差分動きベクトル
の成分系列をデータ入力として、後述する各情報源シン
ボルのトレーニングを行う。出力されたトレーニングデ
ータ１０１９は、出現確率調整処理部１０２に入力され
る。出現確率調整処理部は、各候補記号の確率モデルが
算術符号化を行うための確率テーブルとして成り立つ条
件を満たすようになるまで、調整ループ１０４により繰
り返される。なお、この算術符号を行うための確率テー
ブルとして成り立つ条件については図１２を用いて後で
説明する。出現確率の調整処理が終了すると、その確率
モデルを用いて確率テーブル作成部が各確率モデル用の
確率テーブルを作成する。本実施例では、この算術符号
用モデルテーブル作成部１０を図５または図９のように
算術符号化処理部に並列に配置し、数多くのデータから
９種類の確率モデルを作成する場合を仮定しているが、
この際、図１の動き補償部４で差分動きベクトルの２成
分が共に０となる確率が高くなるように評価関数を設定
しておけば、実際の使用に即したモデルとなる。

【００３０】図１１にトレーニング処理のフローチャー
トを示す。まず、各確率モデルに対する候補記号の数と
そのモデルの数を考慮して、トレーニングデータの初期
化１０１１を行う。本実施例では、８個の「０」に初期
化されたカウントデータから成るモデル選択情報用のト
レーニングデータ１種類と、６１個の「０」に初期化さ
れたカウント値から成る差分動きベクトル成分用のトレ
ーニングデータ８種類が用意される。本実施例では、次
に、１フレーム分の記号データの入力１０１２を行う。
この際、最初に入力されるデータはその１フレームに適
用される選択モデル番号である。したがって、最初にそ
れに対応するカウントデータに１を加算することで選択
モデル番号用のトレーニングデータの更新１０１３を行
い、続いて確率モデルの変更１０１４を行う。そして、
この変更された確率モデルに基づいて、確率モデル用の
トレーニングデータの更新処理１０１５が繰り返され
る。この更新処理とは、入力された伝送記号または再生
記号に対応するカウントデータに１を加算することであ
り、終了判定は１フレーム分のトレーニングが終了した
時点でデータ終了判定処理１０１７により行われる。以
上ステップ１０１２から１０１７に至る処理を用意した
フレームデータについて繰り返した後、全ての更新処理
が終了した時点でステップ１０１８によりトレーニング
の終了と判定し、トレーニングデータの出力処理１０１
９を行う。トレーニングに要するフレーム数は、合計で
１０００フレーム以上と思われる。また、あらゆる統計
的性質を取り入れるため５種類以上の画像を用いること
が必要と思われる。ただし、作成されるテーブルが片寄
った性質を持たないことが重要なことであり、少ないフ
レームおよび１種類の画像を用いた場合であっても、そ
の中にあらゆる統計的状況が含まれていればテーブルと
して問題はない。

【００３１】最後に、図１２の例を用いて算術符号の原
理と算術符号化を行うための確率テーブルの成立条件に
ついて説明する。算術符号化を行うための確率テーブル
は、一定長の「０」から始まる正の整数の数直線を、各
候補記号の数の分だけその出現確率に応じて分割したも
のである。各候補記号は、それぞれ２つの分割境界の値
と、確率テーブルの長さを記号データとして保持してい
る。算術符号化処理では、この数直線の長さを１として
考える。このとき各候補記号に割り当てられた範囲はそ
の候補記号の出現確率となる。例えば、４つの候補記号
７０１、７０２、７０３、７０４を持ち、その出現確率
が「０．４」、「０．３」、「０．２」、「０．１」で
ある確率モデルを仮定すると、数直線は７００のように
なる。ここで、７０１、７０２、７０１の順で３つの記
号が入力されたする。まず、７０１が入力されると、数
直線７００は７０１の部分のみ切り出され７１０に更新
される。この処理により、数直線７１０は最初に７０１
が入力されたことが記録される。

【００３２】次に７１０の長さを１と見ると、２番目に
入力される７０２は数直線７１０上で７１２に対応づけ
ることができる。この７１２を数直線７２０に更新する
と、７２０には最初に７０１が入力され、２番目に７０
２が入力されたことが記録される。また同様に７２０の
長さを１として考えると、３番目の入力７０１は７２０
上で７２１に対応づけられる。このとき、最初の数直線
７００のスケールで７２１を見ると、「０．１６」から
「０．２０８」の範囲を表わしていることになる。伝送
情報としてはこの２値の間にある少数値を何か１つ送れ
ばよい。復号化側では数直線７００が既知であるため、
再生された少数値が７０１の範囲内にあり、かつ７１２
の範囲内にあり、かつ７２１の範囲内にある値であるこ
とは一意に知ることができる。後は、符号化処理と同様
手順で数直線７００をスケールダウンしていけば、候補
記号を完全に再生することができる。したがって、算術
符号を行うための確率テーブルとして成り立つために
は、各候補記号の出現確率を本来の数直線の長さに対応
する整数に置き換えたとき、いずれの記号においても分
割境界の２値の差が幅を持つこと、すなわち１以上とな
ることが必要である。なお、この数直線の長さすなわ
ち、確率テーブルの長さとしては、コンピュータ処理を
考慮に入れて、一般に１４ビットで表わすことができる
正の整数すなわち１６３８３や３０ビットで表わすこと
ができる正の整数が用いられる。

【００３３】本発明には、以下の変形も含まれることは
明らかである。

【００３４】（１）本実施例では、差分動きベクトルの
各成分に限定して確率モデルの適応化を説明している。
しかし、予測誤差の量子化値等についても、それを伝送
記号とする確率モデルおよび確率テーブルは作成でき
る。したがって、復号側に伝送すべき伝送値におけるそ
の出現確率に基づいた確率モデルの適応化は、差分動き
ベクトルの成分に限らず本発明に含まれる。

【００３５】（２）本実施例では、隣接する画素が異な
る動きベクトルを持つことを許容する動き補償方式を採
用した場合を考えて動きベクトルを纏めて伝送している
が、例えばマクロブロック毎のように分けて伝送しても
よい。図１３にそのビットストリームの例を示す。

【００３６】マクロブロックレイヤ情報９５（マクロブ
ロックヘッダ情報９５１、差分動きベクトル成分情報９
５２、変換符号化情報９５３）に先立ってモデル選択情
報４３を送信し、マクロブロック内の全ての伝送値を算
術符号により符号化すれば、全く問題はない。

【００３７】（３）本実施例では、１フレーム毎にモデ
ルの選択を行っているが複数フレーム毎に選択を行って
もよいし、また１フレームを２つ以上に分けてモデルの
選択を行ってもよい。例えば、双方向予測を行う場合、
過去のフレームの動きベクトルと未来のフレームの動き
ベクトルを分けて符号化することは実用的な例である。
なお、遅延等を考慮するとモデルの選択には、一般には
１フレーム単位で行うのが妥当である。

【００３８】（４）本実施例では、確率モデルの選択に
用いる特定伝送記号を差分動きベクトル成分の０とし、
また特定記号を１つに限定しているが、この限りではな
く他の１つの特定記号でも特定記号集合でもよい。例え
ば、ある複数の記号がそのフレーム内で発生することが
ない場合を規定して、その他の記号のみを作成すること
や、各伝送記号の確率頻度をフレーム毎に算出し、幾つ
かの確率モデルの中からもっとも近似しているモデルを
選択することも本発明に含まれる。また、差分動きベク
トル以外の伝送値の確率モデル適応化についても同様で
ある。

【００３９】（５）本実施例では、確率モデルを８種類
に分類しているが、２種類以上であれば８種類に限定す
る必要はない。ただし、符号化効率と演算量を考慮した
場合、８または４が妥当な値である。なお、モデルテー
ブルの作成に関しても当然同様である。

【００４０】（６）本実施例では、特定伝送記号または
特定再生記号の１フレームにおける出現確率が９、８、
７、６、５、４、３、２割となる場合を確率モデルの選
択の候補としているが、別の値を候補とした場合も本発
明に含まれる。但し、符号化効率を考慮した場合、１割
程度の間隔で候補を用意しておくのが妥当である。これ
は、モデルテーブルの作成に関しても同様である。

【００４１】（７）本実施例では、確率モデル判定の
際、出現確率に１０を掛けた後、小数点以下を四捨五入
することにより選択モデル番号を算出しているが、この
方法に限定する必要はない。例えば、出現確率に１０を
掛けた後、小数点以下を切り捨てる方法や繰り上げて整
数化する方法も現実的である。但し、近似値と実際の値
における分散を考慮すると四捨五入する本実施例の方式
が妥当であると思われる。（８）本実施例では、算術符号化における確率モデルの
適応化について示しているが本発明は算術符号化での使
用に限定するものではない。例えば、算術符号用モデル
テーブル作成部３５１における確率テーブル作成部をハ
フマン符号化のための符号化テーブル作成部に換えてお
けば、各確率モデルに対応するハフマン符号表が作成で
きる。したがって、算術符号化やハフマン符号化を代表
とするあらゆる種類のエントロピー符号化方法および復
号化方法についての確率モデル適応化が本発明に含まれ
ている。

【００４２】（９）本実施例では、選択モデル番号を算
術符号化により符号化しているが、等長符号等を用いる
方法も本発明に含まれる。

【００４３】（１０）本実施例では、差分動きベクトル
成分の０出力の出現頻度が高くなるように動き補償処理
の評価関数を設定する方法において、両成分とも０にな
る場合についてのみ評価関数の変更処理を行っている。
しかし、本発明には２つの成分を２種類の伝送記号とし
て扱うことも含まれる。したがって、１成分のみが０と
なる場合について評価関数の変更処理を行うことにより
０出力の出現頻度を高め、その際の伝送記号を確率モデ
ル検出方法への入力とする場合も本発明に含まれる。ま
たそれに基づく確率テーブルまたは符号化テーブル作成
方法も本発明に含まれる。

【００４４】

【発明の効果】本発明により、各フレームの統計的性質
に近似した確率モデルに対応する確率テーブルを用いて
伝送値の算術符号化を行うことが可能となり、符号化情
報量を抑制することができる。

【図面の簡単な説明】

【図１】本発明の動画像符号化処理の構成例を示した
図。

【図２】本発明における符号化ビットストリームの形式
例を示した図。

【図３】従来方式における動画像符号化処理の構成例を
示した図。

【図４】従来方式における符号化ビットストリームの形
式例を示した図。

【図５】動きベクトル符号化処理の詳細図。

【図６】モデル検出処理の詳細図。

【図７】モデル判定処理のフローチャート。

【図８】本発明の動画像復号化処理の構成例を示した
図。

【図９】動きベクトル復号化処理の詳細図。

【図１０】算術符号モデルテーブル作成処理の詳細図。

【図１１】トレーニング処理のフローチャート。

【図１２】算術符号を行うための確率テーブルの例を示
した図。

【図１３】本発明における符号化ビットストリームの変
形例を示した図。

【符号の説明】

４…動き補償部、６…動きベクトル符号化処理部、２
１、３３７…動きベクトル用メモリ、２３、３３５…動
きベクトル予測処理部、２７…モデル検出処理部、２９
…算術符号化処理部、３５、３４１…差分動きベクト
ルの水平、垂直成分、３７…選択モデル番号、４３…モ
デル選択情報、４５、９５２…差分動きベクトル成分情
報、５７…モデル判定処理部、６１…トレーニングデー
タ作成部、６２…出現確率調整処理部、６３…確率テー
ブル作成部、３０５…動きベクトルの復号化処理部、３
１５…算術符号復号化器、３３１…算術符号復号化処理
部、３５１…算術符号用モデルテーブル作成部。

Claims

【特許請求の範囲】

【請求項１】差分動きベクトルの水平、垂直成分を符号
化するにあたり、差分動きベクトルの１成分を１元情報
源とし、その符号化対象となる所定数の事象を情報源シ
ンボルとし、差分動きベクトルの各成分をＭフレームま
たはＭフィールド（Ｍは正の実数）に渡って追跡し、そ
のシンボル系列の対して各シンボルの出現頻度を算出
し、そのうちＫ個（Ｋは正の整数）のシンボルの出現頻
度のみを用いて、符号化側および復号化側にとって既知
であるＮ個（Ｎは２以上の正の整数）の確率モデルの選
択肢の中から、ＭフレームまたはＭフィールドにつき１
つのモデルを選択し、その選択モデル番号を符号化し、
続いて選択した確率モデルと対応した符号化テーブルを
用いて、ＭフレームまたはＭフィールド内で発生する差
分動きベクトル成分のシンボル系列をエントロピー符号
化することを特徴とする画像符号化方法。
【請求項２】差分動きベクトルの水平、垂直成分を符号
化するにあたり、差分動きベクトルの１成分を１元情
報源とし、その符号化対象となる所定数の事象を情報源
シンボルとし、差分動きベクトルの各成分をＭフレーム
またはＭフィールド（Ｍは正の実数）に渡って追跡し、
そのシンボル系列の対して各シンボルの出現頻度を算出
し、そのうちＫ個（Ｋは正の整数）のシンボルの出現頻
度のみを用いて、符号化側および復号化側にとって既知
であるＮ個（Ｎは２以上の正の整数）の確率モデルの選
択肢の中からＭフレームまたはＭフィールドにつき１つ
のモデルを選択し、その選択モデル番号を符号化し、続
いて選択した確率モデルと対応した確率テーブルを用い
て、ＭフレームまたはＭフィールド内で発生する差分動
きベクトル成分のシンボル系列を算術符号化することを
特徴とする画像符号化方法。
【請求項３】ＭフレームまたはＭフィールド（Ｍは正の
実数）分の差分動きベクトルの各成分を連続して符号化
することを特徴とする請求項１または２に記載の画像符
号化方法。
【請求項４】上記Ｋの値を「１」とすることを特徴とす
る請求項１〜請求項３の何れかに記載の画像符号化方
法。
【請求項５】上記Ｋの値を１とし、その特定シンボルが
差分動きベクトルの水平成分と垂直成分の０に対応する
ことを特徴とする請求項４に記載の画像符号化方法。
【請求項６】差分動きベクトルの水平、垂直成分におけ
る「０」の出現頻度が高くなるように意図的に動き検出
処理を行っており、その出力を差分動きベクトルの成分
に変換した値をシンボルとすることを特徴とする請求項
５に記載の画像符号化方法。
【請求項７】上記Ｎの値を「８」とすることを特徴とす
る請求項１〜請求項６の何れかに記載の画像符号化方
法。
【請求項８】上記Ｎの値を「４」とすることを特徴とす
る請求項１〜請求項６の何れかに記載の画像符号化方
法。
【請求項９】上記Ｎの値が「８」であり、その選択対象
がＭフレームまたはＭフィールド（Ｍは正の実数）にお
ける特定シンボルの出現確率の近似値において、９割、
８割、７割、６割、５割、４割、３割、２割の８種類で
あることを特徴とする請求項４〜請求項６の何れかに記
載の画像符号化方法。
【請求項１０】上記Ｍの値を「１」とすることを特徴と
する請求項１〜請求項９の何れかに記載の画像符号化方
法。
【請求項１１】符号化側と同様の符号化テーブルを保持
し、選択モデル番号を復号化し、続いてその確率モデル
用の符号化テーブルを用いてエントロピー符号化された
ビットストリームを、それと同様の符号化テーブルを用
いて復号化することを特徴とする画像復号化方法。
【請求項１２】符号化側と同様の確率テーブルを保持し
ておき、選択モデル番号を復号化し、続いてその確率モ
デル用の確率テーブルを用いて算術符号化されたビット
ストリームを、それと同様の確率テーブルを用いて復号
化することを特徴とする画像復号化方法。
【請求項１３】差分動きベクトルの水平、垂直成分に関
して、差分動きベクトルの１成分を１元情報源とし、そ
の符号化対象となる所定数の事象を情報源シンボルと
し、予め用意されたＮ個（Ｎは２以上の正の整数）の確
率モデルが、Ｋ個（Ｋは正の整数）のシンボルのＭフレ
ームまたはＭフィールド（Ｍは正の実数）における出現
頻度のみを用いて選択できるように設定されており、そ
の選択規則に基づいてＮ個（Ｎは２以上の正の整数）の
確率モデルの選択肢の中からＭフレームまたはＭフィー
ルド毎に１つのモデルが選択されており、その中で発生
するシンボル系列について、選択されているモデルにお
ける該当するシンボルの出現数を表わすトレーニングデ
ータの更新処理を行い、同時に確率モデルの出現頻度に
関するトレーニングデータを更新し、それを異なった画
像を含めた異なったフレームまたはフィールドに対して
Ｒ回（Ｒは正の整数）繰り返してトレーニングデータを
確定し、そのトレーニングされたデータを入力とし、確
率モデルの出現頻度とＮ個の確率モデルのトレーニング
データについて、それぞれ各シンボルの全シンボルに対
する出現確率を算出し、続いてその出現確率の和が１以
下でありかつ各シンボルの出現確率が０とならないよう
に出現確率を調整し、その調整された各出現確率から差
分動きベクトルの各成分のエントロピー符号化および復
号化を行うための符号化テーブルを作成することを特徴
とするモデルテーブル作成方法。
【請求項１４】差分動きベクトルの水平、垂直成分に関
して、差分動きベクトルの１成分を１元情報源とし、そ
の符号化対象となる所定数の事象を情報源シンボルと
し、予め用意されたＮ個（Ｎは２以上の正の整数）の確
率モデルが、Ｋ個（Ｋは正の整数）のシンボルのＭフレ
ームまたはＭフィールド（Ｍは正の実数）における出現
頻度のみを用いて選択できるように設定されており、そ
の選択規則に基づいてＮ個（Ｎは２以上の正の整数）の
確率モデルの選択肢の中からＭフレームまたはＭフィー
ルド毎に１つのモデルが選択されており、その中で発生
するシンボル系列について、選択されているモデルにお
ける該当するシンボルの出現数を表わすトレーニングデ
ータの更新処理を行い、同時に確率モデルの出現頻度に
関するトレーニングデータを更新し、それを異なった画
像を含めた異なったフレームまたはフィールドに対して
Ｒ回（Ｒは正の整数）繰り返してトレーニングデータを
確定し、そのトレーニングされたデータを入力とし、確
率モデルの出現頻度とＮ個の確率モデルのトレーニング
データについて、それぞれ各シンボルの全シンボルに対
する出現確率を算出し、続いてその出現確率の和が１以
下でありかつ各候補記号の出現確率が算術符号化を行う
ための確率テーブルとして成り立つ条件を満たすように
出現確率を調整し、その調整された各出現確率から差分
動きベクトルの各成分の算術符号化および復号化を行う
ための確率テーブルを作成することを特徴とするモデル
テーブル作成方法。
【請求項１５】上記Ｋの値を１とすることを特徴とする
請求項１４または請求項１５に記載のモデルテーブル作
成方法。
【請求項１６】上記Ｋの値を１とし、その特定シンボル
が差分動きベクトルの水平成分と垂直成分の０であるこ
とを特徴とする請求項１５に記載のモデルテーブル作成
方法。
【請求項１７】差分動きベクトルの水平、垂直成分にお
ける０の出現頻度が高くなるように意図的に動き検出処
理を行っており、その出力を差分動きベクトルに変換し
た値がシンボルであり、その符号化ビットストリームを
請求項１４または１５に記載の復号化処理により再生し
た差分動きベクトルの各成分を再生シンボルとすること
を特徴とする請求項１６に記載のモデルテーブル作成方
法。
【請求項１８】上記Ｎの値を「８」とすることを特徴と
する請求項１３〜請求項１７の何れかに記載のモデルテ
ーブル作成方法。
【請求項１９】上記Ｎの値を「４」とすることを特徴と
する請求項１３〜請求項１７の何れかに記載のモデルテ
ーブル作成方法。
【請求項２０】上記確率モデルの選択肢Ｎの値が「８」
であり、その選択肢がＭフレームまたはＭフィールド
（Ｍは正の実数）における特定シンボルの出現確率の近
似値において９割、８割、７割、６割、５割、４割、３
割、２割であることを特徴とする請求項１５〜請求項１
７の何れかに記載のモデルテーブル作成方法。
【請求項２１】上記Ｍの値を１とすることを特徴とする
請求項１３〜請求項２０の何れかに記載のモデルテーブ
ル作成方法。