JPH11164303A

JPH11164303A - 動画像の可逆圧縮符号化装置および可逆伸長復号化装置

Info

Publication number: JPH11164303A
Application number: JP33008297A
Authority: JP
Inventors: Kazuto Ogawa; 一人小川; Takashi Kato; 隆加藤; Toshihiro Uehara; 年博上原; Haruo Okuda; 治雄奥田
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 1997-12-01
Filing date: 1997-12-01
Publication date: 1999-06-18
Anticipated expiration: 2017-12-01
Also published as: JP3902698B2

Abstract

(57)【要約】【課題】従来の画像符号化方式であるＭＰＥＧ、ＭＰ
ＥＧ２は可逆符号化ができず、また、ＪＰＥＧはインタ
レースされた動画像の符号化に適さない。そして、ＪＢ
ＩＧも連続階調の画像の符号化に適用すると、大きなメ
モリを必要とし、いずれも解決すべき課題を有してい
る。【解決手段】動画像の可逆圧縮符号化装置を、複数の
マルコフモデルとそれらマルコフモデルのそれぞれに対
応して使用される条件付確率分布テーブル(1), (2),
(3) とを具え、フレーム内の予め定められた複数の代表
点画素を前記複数のマルコフモデルとそれらマルコフモ
デルのそれぞれに対応して使用される少なくとも１つの
条件付確率テーブルを用いてエントロピー符号化し、該
符号化結果のビット総数（５−１），（５−２），（５
−３）が最小（６）になったマルコフモデルと対応して
使用された条件付確率分布テーブルをフレーム単位で適
応的に選択（ＳＷ１）して、フレーム画像内のエントロ
ピー符号化可能な全画素をエントロピー符号化するよう
に構成した。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像（勿論、動
画像中に静止画部分が含まれていてもよい）の圧縮符号
化装置およびそれにより符号化された符号化データを復
号化する伸長復号化装置に係わり、特に、予測符号化技
術を用いた可逆圧縮符号化装置および可逆伸長復号化装
置に関する。

【０００２】

【従来の技術】従来の画像の圧縮符号化としては、標準
化された、動画像のためのＭＰＥＧ、ＭＰＥＧ２、静止
画像のためのＪＰＥＧ、および静止２値画像のためのＪ
ＢＩＧがある。動画像の圧縮符号化のためのＭＰＥＧ、
ＭＰＥＧ２は、いくつかの要素技術で構成されている
が、それらの要素中に２次元離散コサイン変換（ＤＣ
Ｔ）のＤＣＴ変換係数の量子化がある。この量子化を行
うにあたって、ＭＰＥＧ、ＭＰＥＧ２では８画素（水
平）×８画素（垂直）を符号化の最小単位（ブロック）
としている。この８画素（水平）×８画素（垂直）に対
してＤＣＴを行い、ＤＣＴ変換係数を算出する。この算
出されたＤＣＴ変換係数に対して量子化を行う。ここ
で、量子化とは、ＤＣＴ変換係数全体をある値で割り算
し、小さな値に変換することであり、これによりデータ
の圧縮率を高めることができる。

【０００３】また、静止画像の圧縮符号化のためのＪＰ
ＥＧでは２種類の符号化が規定されていて、それらのう
ちの１つはＤＣＴと量子化技術を用いた非可逆符号化、
もう１つは予測符号化技術を用いた可逆符号化である。
まず、ＪＰＥＧに基づく非可逆符号化では、８画素（水
平）×８画素（垂直）を符号化の最小単位（ブロック）
としている。この８画素（水平）×８画素（垂直）に対
してＤＣＴが行われ、ＤＣＴ変換係数を算出する。この
算出されたＤＣＴ変換係数に対して量子化を行う。

【０００４】次に、ＪＰＥＧに基づく可逆圧縮符号化
は、画素値とその予測値との差分値をエントロピー符号
化している。この可逆圧縮符号化における画素値の予測
方法を、図１および表１を参照して説明する。図１にお
いて、ｘは符号化対象画素、ａ，ｂ，ｃは予測に使用す
る近傍画素をそれぞれ示している。表１のＰｘは符号化
対象画素ｘの予測値、また、Ｒａ，Ｒｂ，Ｒｃはサンプ
ル位置ａ，ｂ，ｃそれぞれのサンプル値を示している。
表１に示された７つの予測値Ｐx を求める予測器を予め
定められたある一定数の画素を単位として選択して使用
し、画素値を予測する。エントロピー符号化の手法は、
まず予測値Ｐｘとｘの画素値Ｒｘとの差分値を求め、そ
の発生確率に対応して算術符号化を行う方式、および差
分値に対しハフマン符号化を行う方式があり、これらに
より符号化されたデータの圧縮を行っている。これらＪ
ＰＥＧの符号化については、例えば、安田浩編著「マル
チメディア符号化の国際標準」１９９１年（丸善）の第
１章「静止画像符号化標準」に詳しく記載されているの
で参照されたい。

【０００５】

【表１】

【０００６】さらに、静止２値画像の符号化のためのＪ
ＢＩＧは、画像縮小方式（ＰＲＥＳ）とマルコフモデル
と動的算術符号化とを組み合せた符号化を用いている。
図２を参照してＰＲＥＳの基本演算を説明する。まず、
ＰＲＥＳとは高解像度の画像から低解像度の画像を作る
一方式のことであり、これにつき説明する。図２におい
て、ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉは高解像度画
像の画素、Ｗ，Ｘ，Ｙ，Ｚは低解像度画像の画素を示し
ている。ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，Ｗ，
Ｘ，Ｙに対応する画素値がそれぞれＰａ，Ｐｂ，Ｐｃ，
Ｐｄ，Ｐｅ，Ｐｆ，Ｐｇ，Ｐｈ，Ｐｉ，Ｐｗ，Ｐｘ，Ｐ
ｙであるとし、そのときの画素Ｚの画素値Ｐｚは、次の
（１），（２）および（３）式によって定められる。

【数１】の計算を行い、その結果ＳＵＭ≧５の場合Ｐｚ＝１ (2) ＳＵＭ＜５の場合Ｐｚ＝０ (3) として決定する。以下、同様にして順次低解像度の画像
を作っていく。

【０００７】次に、ＪＢＩＧによる符号化に使用するマ
ルコフモデルの画素配置を図３（ａ）〜（ｄ）に示す。
図３（ａ）〜（ｄ）において、ｘは符号化対象画素、ま
たａ，ｂ，ｃ，ｄ，ｅ，ｆはｘと同じ解像度の画像上の
近傍画素を示していて、Ｇ，Ｈ，Ｉ，Ｊは低解像度画像
の画素を示している。このｘとＧ，Ｈ，Ｉ，Ｊの位置関
係は、それぞれ図３（ａ）〜（ｄ）に示すように４通り
の場合があり、それぞれ、位相０、位相１、位相２およ
び位相３と呼ばれている。

【０００８】このように、ＪＢＩＧでは、マルコフモデ
ルを近傍のｘと同じ高解像度画像上のａ，ｂ，ｃ，ｄ，
ｅ，ｆの６画素と低解像度画像上のＧ，Ｈ，Ｉ，Ｊの４
画素の画素値、および、符号化対象画素ｘの位置に基づ
く位相を含めた、２¹²通りの状態とし、その条件付確率
分布テーブルをもとに算術符号化を行い、データの圧縮
を行うようにしている。また、ＪＢＩＧの符号化につい
ても、例えば、安田浩編著「マルチメディア符号化の国
際標準」１９９１年（丸善）の第２章「２値符号化」に
詳しく記載されているので参照されたい。

【０００９】

【発明が解決しようとする課題】上述したように、従来
の動画像圧縮符号化のためのＭＰＥＧ、ＭＰＥＧ２、お
よび、静止画像圧縮符号化のためのＪＰＥＧの非可逆符
号化は、圧縮率を高めるために、ＤＣＴ係数の量子化と
いう技術を用いている。しかし、このＤＣＴ係数の量子
化技術を用いて符号化をした場合、その符号化データに
ついてデータ復号化を行ったとしても、もとのデータに
近似した値に復号化されるだけであり、もとのデータそ
のものに戻すことは不可能である。従って、これらの技
術を画像の符号化に使用した場合は、符号化前の画像
と、符号化され、その符号化データが復号化された後の
画像とでは異なったものになる。

【００１０】また、従来の静止画像圧縮符号化のための
ＪＰＥＧは、静止画の可逆圧縮を対象とした符号化であ
るが、フレーム単位に処理するため、例えば、インター
レースされた画像で動きがある場合などには適した符号
化ではない。また、エントロピー符号化に使用する確率
分布テーブルとして、各フレームの符号化に最適なテー
ブルを使う場合には、そのテーブル自体を符号化データ
とともに記録、もしくは、伝送する必要があり、データ
量を増加させる結果となっている。また、各フレームに
最適なテーブルを使用しない場合は、圧縮率が低く抑え
られる。

【００１１】また、静止２値画像圧縮符号化のためのＪ
ＢＩＧは、２値画像の可逆圧縮を対象とした符号化であ
るが、連続階調の画像にこの符号化方式を適用するに
は、大きなメモリが必要となり、装置の実装が困難とな
る。

【００１２】本発明の目的は、上述した各問題点を除去
した動画像の可逆圧縮符号化装置および復号化装置を提
供することにある。

【００１３】

【課題を解決するための手段】上記目的を達成するため
に、本発明による動画像の可逆圧縮符号化装置において
は、マルコフモデルを複数規定し、それぞれのマルコフ
モデルに対応して使用される条件付確率分布テーブルの
中から最も符号化効率の高いものをフレーム単位で適応
的に選択してエントロピー符号化することにより、動画
像データを欠落することなく圧縮し、しかも、動画像デ
ータの圧縮率を高めるようにしている。

【００１４】また、本発明においては、エントロピー符
号化に使用する上記条件付確率分布テーブルをフレーム
単位で更新し、符号化するフレームに適した条件付確率
分布テーブルを作り出し、動画像のデータ圧縮率を一層
高めるようにしている。

【００１５】すなわち、本発明による動画像の可逆圧縮
符号化装置は、複数のマルコフモデルとそれらマルコフ
モデルのそれぞれに対応して使用される条件付確率分布
テーブルとを具え、フレーム内の予め定められた複数の
代表点画素を前記複数のマルコフモデルとそれらマルコ
フモデルのそれぞれに対応して使用される少なくとも１
つの条件付確率分布テーブルを用いてエントロピー符号
化し、該符号化結果のビット総数が最小になったマルコ
フモデルと対応して使用された条件付確率分布テーブル
をフレーム単位で適応的に選択して、フレーム画像内の
エントロピー符号化可能な全画素をエントロピー符号化
するように構成したことを特徴とするものである。

【００１６】また、本発明による動画像の可逆圧縮符号
化装置は、前記マルコフモデルに対応して使用される前
記条件付確率分布テーブルが、それぞれのマルコフモデ
ルに対応して複数準備された中から１つを画像のシーン
チェンジ情報に対応して選択したものであることを特徴
とするものである。

【００１７】また、本発明による動画像の可逆圧縮符号
化装置は、前記マルコフモデルに対応して使用される前
記複数の条件付確率分布テーブルには、前フレームの画
像データに基づいて作成された条件付確率分布テーブル
が含まれることを特徴とするものである。

【００１８】また、本発明による動画像の可逆圧縮符号
化装置は、前記マルコフモデルに対応して使用される前
記複数の条件付確率分布テーブルには、前フレーム画像
の符号化に用いた条件付確率分布テーブルと前フレーム
の画像データに基づいて作成された条件付確率分布テー
ブルとを重み付け加算して求めた条件付確率分布テーブ
ルが含まれることを特徴とするものである。

【００１９】また、本発明による動画像の可逆圧縮符号
化装置は、前記条件付確率分布テーブルの重み付け加算
が、前フレーム画像の符号化データ圧縮率に対応して予
め定められた計算式に基づいて計算された重みづけ係数
を適応的に選択する重み付け加算であることを特徴とす
るものである。

【００２０】また、本発明による動画像の可逆伸長復号
化装置は、複数のマルコフモデルとそれらマルコフモデ
ルのそれぞれに対応して使用される少なくとも１つの条
件付確率分布テーブルとを具え、記録側もしくは送信側
から符号化データとともに記録もしくは送信され、記録
側もしくは送信側でマルコフモデルおよびそれに対応し
て使用される条件付確率分布テーブルのいずれが選択さ
れて符号化が行われたかを示すモデル識別フラグを再生
もしくは受信して、該再生もしくは受信されたモデル識
別フラグによって選択されるマルコフモデルおよびそれ
に対応して使用される条件付確率分布テーブルに対応し
たエントロピー符号化の復号化を行うことを特徴とする
ものである。

【００２１】また、本発明による動画像の可逆伸長復号
化装置は、前記マルコフモデルに対応して使用される条
件付確率分布テーブルが記録側もしくは送信側において
それぞれのマルコフモデルに対応して複数準備された中
から１つを画像のシーンチェンジ情報に対応して選択し
たものであるとき、符号化データとともに記録側で記録
され、もしくは送信側で送信され、記録側もしくは送信
側でいずれの条件付確率分布テーブルが選択されて符号
化が行われたかを示すテーブル識別フラグを再生もしく
は受信して、該再生もしくは受信されたテーブル識別フ
ラグに対応して選択される条件付確率分布テーブルに対
応したエントロピー符号化の復号化を行うことを特徴と
するものである。

【００２２】また、本発明による動画像の可逆伸長復号
化装置は、符号化データとともに記録側で記録されもく
しは送信側で送信され、そして再生側もしくは受信側に
おいて得られた乗算係数に対応して、前フレーム画像の
復号化に用いた条件付確率分布テーブルと前フレームの
画像データに基づいて作成された条件付確率分布テーブ
ルとを重み付け加算して求めた条件付確率分布テーブル
に対応してエントロピー符号化の復号化を行うことを特
徴とするものである。

【００２３】

【発明の実施の形態】以下に添付図面を参照し、発明の
実施の形態に基づいて本発明を詳細に説明する。本発明
においては、上述したように、マルコフモデルを複数規
定し、それぞれのマルコフモデルおよびそれに対応した
条件付確率分布テーブルの中から最も符号化効率の高い
ものをフレーム単位で適応的に選択してエントロピー符
号化しているが、以下の実施の形態では、構成を容易に
するため、Ｌｉｎｅモデル、ＦｒａｍｅモデルおよびＦ
ｉｅｌｄモデルの３種類の、それも符号化対象画素近傍
の２画素を含めた３画素から形成されるマルコフモデル
を規定するものとする。

【００２４】３画素から形成されるマルコフモデルによ
る符号化とは、まず、符号化する画素のレベルがＸ_a、
その近傍の２つの画素のレベルがＸ_b，Ｘ_cである場合
に、Ｘ_aの生起確率がＸ_b，Ｘ_cに依存する２重マルコ
フ情報源であるとし、条件付確率Ｐ（Ｘ_a｜Ｘ
_{b ,}Ｘ_c）を定める。ここで、Ｘ_a，Ｘ_b，Ｘ_cがそれ
ぞれ、０から２５５までの値をとるものとすると、（Ｘ
_b，Ｘ_c）の組み合わせの数は６５，５３６通り存在す
る。この個々の（Ｘ_b，Ｘ_c）に対してＸ_aをパラメー
タとした時の確率分布を定める。従って、（Ｘ_b，
Ｘ_c）を固定し、Ｘ_aを０から２５５まで変化させた場
合の確率の総計は１となる。この条件付確率分布をもと
に、算術符号化、ハフマン符号化等のエントロピー符号
化を行う。このエントロピー符号化はデータの欠落がな
い可逆圧縮符号化である。

【００２５】以下に、本発明の実施の形態で使用するＬ
ｉｎｅモデル、ＦｒａｍｅモデルおよびＦｉｅｌｄモデ
ルの各マルコフモデルによる符号化について説明する。
図４は、Ｌｉｎｅモデルに使用する３画素の配置を示し
ていて、Ｘｐ_iは符号化する画素、そしてＸｐ_i-1，Ｘ
ｐ_i-2はＸｐ_iと同一走査線上のそれぞれ１つ、２つ前
の画素を示している。Ｌｉｎｅマルコフモデル符号化と
は、マルコフモデル符号化を同一走査線上の画素で行う
符号化であり、図４に示す３つの画素、Ｘｐ_i，Ｘｐ
_i-1，Ｘｐ_i-2を用いて行う。符号化する画素Ｘｐ_iの
レベルＸ_iの生起確率が、画素Ｘｐ_i-1のレベルＸ_i-1
と画素Ｘｐ_i-2のレベルＸ_i-2に依存している２重マル
コフ情報源であるとし、条件付確率分布Ｐ（Ｘ_i｜Ｘ
_i-2，Ｘ_i-1）を生成し、この確率分布をもとにエント
ロピー符号化を行う。この符号化では、フレーム内の各
走査線上の第１番目、第２番目の画素の符号化は行わな
い。これらの画素は、近傍の２つの画素が完全に揃わな
いからである。

【００２６】図５は、Ｆｒａｍｅモデルに使用する３画
素の配置を示していて、Ｘｐ_iは符号化する画素、Ｘｐ
_i-1はＸｐ_iと同一走査線上の１つ前の画素、そしてＸ
ｐ_i- _hはＸｐ_iの１つ前の走査線上の同じ列にある画素
を示している。Ｆｒａｍｅマルコフモデル符号化とは、
図５に示す走査線上の３つの画素、Ｘｐ_i，Ｘｐ_i-1，
Ｘｐ_i-hを用いて行うマルコフモデル符号化であり、符
号化する画素Ｘｐ_iのレベルＸ_iの生起確率が、画素Ｘ
ｐ_i-hのレベルＸ_i-hと画素Ｘｐ_i-1のレベルＸ_i-1に
依存する２重マルコフ情報源であるとし、条件付確率分
布Ｐ（Ｘ_i｜Ｘ_i-h，Ｘ_i-1）を生成し、この確率分布
をもとにエントロピー符号化を行う。Ｌｉｎｅモデルの
場合と同じ理由により、この符号化では、フレーム内の
第１走査線上のすべての画素、および、それ以外の走査
線上の第１番目の画素の符号化は行わない。

【００２７】図６は、Ｆｉｅｌｄモデルに使用する３画
素の配置を示していて、Ｘｐ_iは符号化する画素、Ｘｐ
_i-1はＸｐ_iと同一走査線上の１つ前の画素、そしてＸ
ｐ_i- _2hはＸｐ_iの２つ前の走査線上の同じ列にある画素
を示している。Ｆｉｅｌｄマルコフモデル符号化とは、
図６に示す走査線上の３つの画素、Ｘｐ_i，Ｘｐ_i-1，
Ｘｐ_i-2hを用いたマルコフモデル符号化であり、符号化
する画素Ｘｐ_iのレベルＸ_iの生起確率が、画素Ｘｐ
_i-2hのレベルＸ_i-2hと画素Ｘｐ_i- ₁のレベルＸ_i-1に依
存している２重マルコフ情報源であるとし、条件付確率
分布Ｐ（Ｘ_i｜Ｘ_i-2h ,Ｘ_i-1）を生成し、この確率分
布をもとにエントロピー符号化を行う。Ｌｉｎｅモデル
の場合と同じ理由により、この符号化では、フレーム内
の第１走査線、第２走査線上のすべての画素、および、
それ以外の走査線上の第１番目の画素の符号化は行わな
い。

【００２８】以上で、Ｌｉｎｅモデル、Ｆｒａｍｅモデ
ルおよびＦｉｅｌｄモデルの各マルコフモデルによる符
号化の説明を終るが、前述したように、本発明は、それ
らそれぞれのマルコフモデルおよびそれに対応した条件
付確率分布テーブルの中から最も符号化効率の高いもの
をフレーム単位で適応的に選択してエントロピー符号化
するもので、そのための２通りの構成例を図７および図
８に示し、これにつき説明する。

【００２９】図７において、１，２および３は、それぞ
れＬｉｎｅモデル、ＦｒａｍｅモデルおよびＦｉｅｌｄ
モデルに従った上記の符号化を行う回路である。これら
各回路１，２および３による符号化の結果は、それぞれ
を１フレーム期間遅延させる、例えばフレームメモリ等
によって構成される１フレーム遅延回路４−１，４−２
および４−３にそれぞれ供給されるとともに、回路１，
２および３による符号化の結果から１フレーム中に数箇
所選定した代表点に相当する時間的位置の符号化結果を
抽出する代表点選択回路５−１，５−２および５−３
（代表点の位置は各同じである）にもそれぞれ供給され
て、各モデルごとの符号化のビット数を出力させる。

【００３０】これにより得られた各モデルごとのビット
数を、図中

【外１】で示す総和器によりフレーム単位でそれぞれ総和をと
り、その総和の結果を比較器６にて比較し、最小ビット
を生成するモデルを選択するためのモデル選択情報を出
力させる。１フレーム遅延回路４−１，４−２および４
−３からは、上記３つのモデルに従った符号化結果が１
フレーム遅延されて出力され、切り替えスイッチＳＷ１
の各接点に供給される。切り替えスイッチＳＷ１の選択
位置が上記選択情報で決定されることから、同スイッチ
ＳＷ１の出力側には、上記３つのモデル中最も符号化効
率が高いもの（データ圧縮率が最も高いもの）の符号化
出力が得られることになる。

【００３１】なお、比較器６における比較の結果、ビッ
ト数が同じになる場合は、例えば、符号化を行わない画
素が最小のＬｉｎｅモデルを選択するなど、予め定めら
れたモデルを選択する。また、代表点は事前に定めてお
くが、代表点の個数はできるだけ多くし、個々の代表点
の位置はフレーム内で偏りのないように分散させること
が必要である。

【００３２】また、マルコフモデルおよびそれに対応し
た条件付確率分布テーブルの中から最も符号化効率の高
いものをフレーム単位で適応的に選択してエントロピー
符号化する本発明装置の第２の構成例を図８に示し、こ
れにつき説明する。なお、図８中、図７に示したのと同
一の回路要素が使用される箇所には同一の符号を付して
示し、それら回路要素の説明は省略する。

【００３３】本構成例では、まず、画像信号入力を２分
岐し、その２分岐された画像信号入力を、代表点に相当
する信号を選択的に出力する代表点選択回路５と１フレ
ーム遅延回路４とにそれぞれ供給する。次いで、代表点
選択回路５の出力をＬｉｎｅモデル、Ｆｒａｍｅモデル
およびＦｉｅｌｄモデルに従った符号化を行う符号化回
路１−１，２−１，３−１に供給し、各モデル（Ｌｉｎ
ｅ，ＦｒａｍｅおよびＦｉｅｌｄの）ごとの代表点にお
ける符号化出力を得る。その符号化出力を１フレーム分
にわたって〔外１〕で示す総和器で総和をとりさらに比
較器６に供給してビット数の大小比較をすることによ
り、図７の場合と同じ最小ビットを生成するモデルを選
択するためのモデル選択情報を得る。

【００３４】一方、フレーム遅延回路４に供給された画
像信号入力は、１フレーム遅れた信号となって切り替え
スイッチＳＷ１−１を介して各モデルごとの符号化を行
う符号化回路１−２，２−２および３−２に供給され
る。図示の切り替えスイッチＳＷ１−１およびＳＷ１−
２は、比較器６の出力すなわちモデル選択情報によって
連動して切り替えられ、その出力側の切り替えスイッチ
ＳＷ１−２から符号化効率が最も高くなるモデルによっ
て符号化された符号化出力が得られる。

【００３５】以上のようにして符号化された符号化デー
タの記録もしくは伝送をする場合、符号化データ以外
に、Ｌｉｎｅモデル、ＦｒａｍｅモデルおよびＦｉｅｌ
ｄモデルのうちいずれのモデルを用いて符号化を行った
かを示すモデル識別フラグが１フレームあたり２ビット
必要となる。また、上述したように、各モデルに符号化
を行わない画素が存在することから、それら画素は、画
素値をそのまま記録、もしくは伝送することとなる。こ
れらのデータは符号量を増加させ、符号化データの圧縮
率を低下させるが、例えば、一般のテレビ画像では、画
像データ量が非常に多いため、モデル識別フラグ分のデ
ータ量の増加、および符号化されない画素によるデータ
量の増加があったとしても、本発明のモデル切り替え符
号化によってデータ圧縮率を大きく劣化させることはな
い。

【００３６】次に、以上説明した本発明による動画像の
可逆圧縮符号化装置により符号化された符号化データが
記録媒体に記録され、もしくは伝送路を介し伝送され
て、それぞれ再生時もしくは受信側で復号化する本発明
による可逆伸長復号化装置について説明する。復号化に
際しては、まず、符号化時にどのモデルが使われて符号
化されているかを示す上述のモデル識別フラグを読み取
り、次に、そのフラグに応じて、Ｌｉｎｅモデル、Ｆｒ
ａｍｅモデルおよびＦｉｅｌｄモデルのいずれかの復号
化を行う。

【００３７】各モデルごとの復号化の仕方を説明する。
Ｌｉｎｅモデルでは、まず、符号化されずに記録、もし
くは伝送されてきた各走査線上の第１番目、第２番目の
画素を基準とし、同一走査線上の第３番目の画素の復号
化を行う。次に、第２番目の画素と先に復号化した第３
番目の画素とを基準とし、第４番目の画素の復号化を同
様に行う。この復号化を繰り返すことにより、すべての
画素の復号化が可能となる。

【００３８】また、Ｆｒａｍｅモデルでは、まず、符号
化されずに記録、もしくは伝送されてきた第１走査線上
の第２番目の画素と第２走査線上の第１番目の画素とを
基準とし、第２走査線上の第２番目の画素を復号化す
る。次に、第１走査線上の第３番目の画素と先に復号化
した第２走査線上の第２番目の画素とを基準とし、第２
走査線上の第３番目の画素を同様に復号化する。この復
号化を第２走査線上の最後の画素まで行った後、第３走
査線上の画素の復号化を同じ手順で行う。同様に、他の
走査線上の画素の復号化を繰り返し、フレーム内のすべ
ての画素の復号化が可能となる。

【００３９】また、Ｆｉｅｌｄモデルでは、まず、符号
化されずに記録、もしくは伝送されてきた第１走査線上
の第２番目の画素と第３走査線上の第１番目の画素とを
基準とし、第３走査線上の第２番目の画素を復号化す
る。次に、第１走査線上の第３番目の画素と先に復号化
した第３走査線上の第２番目の画素とを基準とし、第３
走査線上の第３番目の画素を同様に復号化する。この復
号化を第３走査線上の最後の画素まで行った後、第５走
査線上の画素の復号化を同じ手順で行う。同様に、他の
奇数番号の走査線上の画素の復号化を繰り返す。偶数番
号の走査線上の画素の復号化は、まず、第２走査線上の
第２番目の画素と第４走査線上の第１番目の画素とを基
準とし、第４走査線上の第２番目の画素を復号化し、次
に、第２走査線上の第３番目の画素と、先に復号化した
第４走査線上の第２番目の画素とを基準とし、第４走査
線上の第３番目の画素を同様に復号化する。この復号化
を第４走査線上の最後の画素まで行った後、第６走査線
上の画素の復号化を同じ手順で行う。同様に、他の偶数
番号の走査線上の画素の復号化を繰り返す。この作業に
より、フレーム内のすべての画素の復号化が可能とな
る。

【００４０】以上においては、Ｌｉｎｅモデル、Ｆｒａ
ｍｅモデルおよびＦｉｅｌｄモデルの３種類のマルコフ
モデル符号化を行い、その中から最も符号化効率の高い
ものを選択するようにしたが、本発明による動画像の可
逆圧縮符号化装置は、選択対象とするマルコフモデルは
上記３つのモデルに限られるものでなく、適当と考えら
れる任意の複数のマルコフモデルを使用してもよいこと
は言うまでもない。

【００４１】次に、本発明においては、符号化側におい
てマルコフモデルおよび対応する条件付確率テーブルを
用いてエントロピー符号化を行うことを前提としている
が、符号化、および、復号化の手順は本発明にとって本
質的なことではないので、その詳細はたとえば原島博氏
著「画像情報圧縮」（オーム社、平成３年８月２５日発
行）に譲ることとする。

【００４２】また、エントロピー符号化に使用する条件
付確率分布テーブルは、例えば後述するようなデフォル
トテーブル（Default Table ）として予め符号化器、お
よび、復号化器内に１つ具えておくことを基本とする
が、１つのマルコフモデルに対して条件付確率分布テー
ブルを複数準備し、いわゆるシーンチェンジ情報に基づ
きこれらをフレーム毎に切り替えることにより、圧縮率
を高めることが可能となる。この場合、次に述べるよう
に、複数の条件付確率分布テーブルのうちの１つについ
て、これをフレーム毎に合成するようにするのが効果的
である。

【００４３】この目的のために、エントロピー符号化を
行うに際して、複数準備された条件付確率分布テーブル
の中から１つを画像のシーンチェンジ情報に対応してテ
ーブルを切り替え選択するように構成した本発明の一実
施形態を図９に示している。図９において、７はデフォ
ルトテーブル（Default Table ）、８はユニークテーブ
ル（Unique Table）、９はオールドテーブル（Old Tabl
e)、１０はニューテーブル（New Table)および１１は１
フレーム遅延回路であり、以下にそれぞれの回路要素お
よび全体的な動作の説明を行う。

【００４４】デフォルトテーブル（Default Table)７と
は、エントロピー符号化に用いる初期確率分布テーブル
のことであり、条件付確率Ｐｄ（Ｘ_a｜Ｘ_b，Ｘ_c）
（ただし、符号化する画素のレベルをＸ_a、その近傍の
画素のレベルをＸ_b，Ｘ_cとする）がすべてのＸ_a，Ｘ
_b，Ｘ_cについて規定されている。このテーブルは次の
条件１を満足していれば、どのような確率分布であると
しても構わないが、どのような画像の符号化においても
ある程度の圧縮率が得られる汎用性のあるテーブルであ
ることが望ましい。例えば、シーンチェンジとシーンチ
ェンジの間の一連の画像ではなく、互いに関連がない２
０種類程度の画像から生起分布を求め、その生起分布の
生起度数が０の部分を生起度数１に置き換える。こうし
て次の条件１のもとで、再構成された生起分布をもとに
条件付確率Ｐｄ（Ｘ_a｜Ｘ_b，Ｘ_c）を定め、これをDef
ault Table とすることにより、汎用性のあるテーブル
を作ることが可能である。

【数２】

【００４５】ユニークテーブル（Unique Table) ８と
は、現在符号化しようとしているフレーム画像のフレー
ム番号がｉであるとすると、その一つ前のｉ−１番目の
フレーム画像から生起分布を求め、その生起分布をもと
に作り出された確率分布テーブルのことであり、これも
すべてのＸ_{a ,}Ｘ_b，Ｘ_cについて条件付確率Ｐｕ（Ｘ
_a｜Ｘ_b，Ｘ_c）が規定されている。しかし、ｉ−１番
目のフレーム画像では、すべてのＸ_a，Ｘ_b，Ｘ_cが生
起しているとは限らない。従って、このテーブルは次の
条件２を満足しているものであり、確率が０となる部分
が存在していても差し支えない。

【数３】

【００４６】オールドテーブル（Old Table)９とは、ｉ
−１番目のフレーム画像の符号化に使用したテーブルの
ことであり、ｉ−１番目のフレーム画像の符号化でDefa
ultTable を使用していた場合には、Default Table と
同じTable となり、ｉ−１番目のフレーム画像の符号化
に合成されたTable を使用していた場合は、ｉ−１番目
のフレーム画像の符号化に使用したTable と同じTable
となる。この確率分布テーブルはすべてのＸ_a，Ｘ_b，
Ｘ_cについて条件付確率Ｐｏ（Ｘ_a｜Ｘ_b，Ｘ _c）が規
定されており、次の条件３を満足しなければならない。

【数４】

【００４７】ニューテーブル（New Table ）１０とは、
ｉ番目のフレーム画像の符号化に使用する確率分布テー
ブルのことであり、ｉ番目のフレーム画像の符号化にDe
fault Teble を使用する場合には、Default Table と同
じTable となり、Default Table を使用しない場合に
は、Old Table とｉ−１番目のフレーム画像から作られ
たUnique Tableの２つの合成により作り出された新しい
確率分布テーブルとなる。この確率分布テーブルは、す
べてのＸ_a，Ｘ_b，Ｘ_cについて条件付確率Ｐｎ（Ｘ_a
｜Ｘ_b，Ｘ_c）が規定されていて、次の条件４を満足し
なければならない。

【数５】

【００４８】図９中

【外２】で示される加算器は合成Table を作る際のUnique Table
とOld Table の合成演算を行う。この合成Table の条件
付確率分布Ｐｎ（Ｘ_a｜Ｘ_b，Ｘ_c）の作成方法は、 Unique TableのＰｕ（Ｘ_a｜Ｘ_b，Ｘ_c）において、Ｘ_b，Ｘ_cを固定し、すべてのＸ_aについてＰｕ（Ｘ_a｜Ｘ_b，Ｘ_c）＝０である場合、すべてのＸ_aに対しＰｎ（Ｘ_a｜Ｘ_b，Ｘ_c）＝Ｐｏ（Ｘ_a｜Ｘ_b，Ｘ_c） (12) Unique TableのＰｕ（Ｘ_a｜Ｘ_b，Ｘ_c）において、Ｘ_b，Ｘ_cを固定し、あるＸ_aについてＰｕ（Ｘ_a｜Ｘ_b，Ｘ_c）≠０である場合、すべてのＸ_aに対しＰｎ（Ｘ_a｜Ｘ_b,Ｘ_c) ＝ｋ₁・Ｐｏ（Ｘ_a｜Ｘ_b,Ｘ_c）＋ｋ₂・Ｐｕ（Ｘ_a｜Ｘ_b,Ｘ_c） (13) とする。なお、この更新を行った場合でも、合成Table
は上述の条件１（（４），（５）式）を満足する。

【００４９】ここに、ｋ₁，ｋ₂は合成Table を作成す
る際に用いる乗算係数であり、次の条件５を満たしてい
る。条件５ｋ₁＋ｋ₂＝１０＜ｋ₁≦１，０≦ｋ₂＜１ (14) ｋ₁，ｋ₂は条件５を満たしていれば任意の値で構わな
いが、ｉ番目のフレーム画像の符号化を行う際に符号量
が最小になるような設定が望ましい。例えば次の(15),
(16), (17)および(18)式の方法により決定する。

【数６】として、

【数７】ただし、Ntotalは、第ｉ−１番目のフレーム画像を符号
化した際の総符号量、Npｉｘｅｌは１フレーム分の画素
数、そしてNbitは符号化前の１画素あたりのビット数で
ある。

【００５０】また、１フレーム遅延回路１１は、１フレ
ーム分の信号の遅延を行う。切り替えスイッチＳＷ２
は、映像編集点のように動画の中で極端に映像が変化
し、フレーム間の相関が小さい部分ではDefault Table
側に、また、映像編集点ではなく、フレーム間の相関が
非常に大きい部分では合成 Table側に切り替わる。この
切り替えは、シーンチェンジを検出することにより切り
替えが可能である。

【００５１】これらの条件付確率分布テーブルにより得
られた符号化データを記録、もしくは伝送する場合、合
成されたTable を使用しているか、Default Table を使
用しているかを示すテーブル識別フラグ、および、合成
Table を使用している場合には、合成のためのｋ₁もし
くはｋ₂のいずれかの乗算係数データがさらに必要であ
る。しかし、通常の画像データ量は非常に多いため、デ
ータ量がこれらテーブル識別フラグと乗算係数データの
分だけ増加しても、これらは画像用のデータ量に比較し
て非常に少なく、この切り替え方式の圧縮率を大きく劣
化させることはない。

【００５２】以上の切り替え方式で符号化された符号化
データの復号化では、まず、符号化時に使用している確
率分布テーブルを示すテーブル識別フラグを符号化デー
タから読み取り、Default Table を使用しているか、合
成Table を使用しているかを調べる。もし、Default Ta
ble を使用していることが判明した場合には、そのま
ま、復号化器に具えられたDefault Table を用いて復号
化を行う。もし、合成Table を使用していることが判明
した場合には、符号化データから乗算係数データｋ₁も
しくはｋ₂を読み取り、復号化用の合成Table を作成
し、合成Table を用いて復号化を行う。このとき、合成
Table の作成方法は符号化の際の合成Tableの作成方法
と同じである。

【００５３】最後に、切り替え方式の他の実施形態の構
成を図１０に示している。図１０においては、図９中の
回路要素と同一部分には同一符号を付して示している。
また、図９中には示されないＳＷ３はフレーム間差分情
報によって切り替えが行われる切り替えスイッチであ
る。この実施形態は、同一画像が連続する静止画部分で
は、Uniqne Tableをそのまま使用する方が符号化圧縮率
が高くなる利点を生かして、フレーム間の差分情報（図
１０参照）に基づいて合成（Unique TableとOld Table
の）テーブルとUnique Tableを切り替えるようにしたも
のである。また、この場合、復号化側ではUnique Table
を示すテーブル識別フラグに基づきUniqle Tableを用い
て復号化するようにすればよい。

【００５４】

【発明の効果】以上に説明したように、本発明による動
画像の可逆圧縮符号化装置によれば、動画像データを欠
落することなく圧縮符号化し、しかも、複数のマルコフ
モデルを適応的に切り替えて使用し、マルコフモデルに
使用する条件付確率分布テーブルをフレームごとに更新
することにより、圧縮率を高めることが可能となる。こ
れにより本発明を記録、もしくは伝送に用いた場合、そ
れぞれ記録、もしくは伝送する画像データ量の削減が可
能となり、従って、画像記録装置の記録時間を増加さ
せ、画像伝送におけるデータ転送速度を低減させること
が可能となる。

【図面の簡単な説明】

【図１】ＪＰＥＧに基づく可逆圧縮符号化における画素
値の予測方法を示している。

【図２】ＪＢＩＧに基づく符号化における画像縮小方式
（ＰＲＥＳ）を示している。

【図３】ＪＢＩＧによる符号化に使用するマルコフモデ
ルの画素配置を示している。

【図４】本発明の実施の形態で使用するマルコフモデル
の１つであるＬｉｎｅモデルに使用する３画素の配置を
示している。

【図５】本発明の実施の形態で使用するマルコフモデル
の１つであるＦｒａｍｅモデルに使用する３画素の配置
を示している。

【図６】本発明の実施の形態で使用するマルコフモデル
の１つであるＦｉｅｌｄモデルに使用する３画素の配置
を示している。

【図７】本発明による動画像の可逆圧縮符号化装置の実
施の形態における構成をブロック図で示している。

【図８】本発明による動画像の可逆圧縮符号化装置の実
施の形態における他の構成をブロック図で示している。

【図９】複数準備された条件付確率分布テーブルの中か
ら１つを画像のシーンチェンジ情報に対してテーブルを
切り替え選択するように構成した本発明の一実施形態を
示している。

【図１０】同じく切り替え方式の他の実施形態の構成を
示している。

【符号の説明】

１，１−１，１−２Ｌｉｎｅモデルに従った符号化回
路２，２−１，２−２Ｆｒａｍｅモデルに従った符号化
回路３，３−１，３−２Ｆｉｅｌｄモデルに従った符号化
回路４−１，４−２，４−３，４１フレーム遅延回路５−１，５−２，５−３，５代表点選択回路６比較器７デフォルトテーブル（Default Table) ８ユニークテーブル（Unique Table) ９オールドテーブル（Old Table) 10 ニューテーブル（New Table) 11 １フレーム遅延回路ＳＷ１，ＳＷ１−１，ＳＷ１−２，ＳＷ２，ＳＷ３切
り替えスイッチ

───────────────────────────────────────────────────── フロントページの続き (72)発明者奥田治雄東京都世田谷区砧１丁目10番11号日本放送協会放送技術研究所内

Claims

【特許請求の範囲】

【請求項１】複数のマルコフモデルとそれらマルコフ
モデルのそれぞれに対応して使用される条件付確率分布
テーブルとを具え、フレーム内の予め定められた複数の
代表点画素を前記複数のマルコフモデルとそれらマルコ
フモデルのそれぞれに対応して使用される少なくとも１
つの条件付確率分布テーブルを用いてエントロピー符号
化し、該符号化結果のビット総数が最小になったマルコ
フモデルと対応して使用された条件付確率分布テーブル
をフレーム単位で適応的に選択して、フレーム画像内の
エントロピー符号化可能な全画素をエントロピー符号化
するように構成したことを特徴とする動画像の可逆圧縮
符号化装置。
【請求項２】請求項１記載の可逆圧縮符号化装置にお
いて、前記マルコフモデルに対応して使用される前記条
件付確率分布テーブルは、それぞれのマルコフモデルに
対応して複数準備された中から１つを画像のシーンチェ
ンジ情報に対応して選択したものであることを特徴とす
る動画像の可逆圧縮符号化装置。
【請求項３】請求項２記載の可逆圧縮符号化装置にお
いて、前記マルコフモデルに対応して使用される前記複
数の条件付確率分布テーブルには、前フレームの画像デ
ータに基づいて作成された条件付確率分布テーブルが含
まれることを特徴とする動画像の可逆圧縮符号化装置。
【請求項４】請求項２記載の可逆圧縮符号化装置にお
いて、前記マルコフモデルに対応して使用される前記複
数の条件付確率分布テーブルには、前フレーム画像の符
号化に用いた条件付確率分布テーブルと前フレームの画
像データに基づいて作成された条件付確率分布テーブル
とを重み付け加算して求めた条件付確率分布テーブルが
含まれることを特徴とする動画像の可逆圧縮符号化装
置。
【請求項５】請求項４記載の可逆圧縮符号化装置にお
いて、前記条件付確率分布テーブルの重み付け加算は、
前フレーム画像の符号化データ圧縮率に対応して予め定
められた計算式に基づいて計算された重みづけ係数を適
応的に選択する重み付け加算であることを特徴とする動
画像の可逆圧縮符号化装置。
【請求項６】複数のマルコフモデルとそれらマルコフ
モデルのそれぞれに対応して使用される少なくとも１つ
の条件付確率分布テーブルとを具え、記録側もしくは送
信側から符号化データとともに記録もしくは送信され、
記録側もしくは送信側でマルコフモデルおよびそれに対
応して使用される条件付確率分布テーブルのいずれが選
択されて符号化が行われたかを示すモデル識別フラグを
再生もしくは受信して、該再生もしくは受信されたモデ
ル識別フラグによって選択されるマルコフモデルおよび
それに対応して使用される条件付確率分布テーブルに対
応したエントロピー符号化の復号化を行うことを特徴と
する動画像の可逆伸長復号化装置。
【請求項７】請求項６記載の可逆伸長復号化装置にお
いて、前記マルコフモデルに対応して使用される条件付
確率分布テーブルが記録側もしくは送信側においてそれ
ぞれのマルコフモデルに対応して複数準備された中から
１つを画像のシーンチェンジ情報に対応して選択したも
のであるとき、符号化データとともに記録側で記録さ
れ、もしくは送信側で送信され、記録側もしくは送信側
でいずれの条件付確率分布テーブルが選択されて符号化
が行われたかを示すテーブル識別フラグを再生もしくは
受信して、該再生もしくは受信されたテーブル識別フラ
グに対応して選択される条件付確率分布テーブルに対応
したエントロピー符号化の復号化を行うことを特徴とす
る動画像の可逆伸長復号化装置。
【請求項８】請求項７記載の可逆伸長復号化装置にお
いて、符号化データとともに記録側で記録されもくしは
送信側で送信され、そして再生側もしくは受信側におい
て得られた乗算係数に対応して、前フレーム画像の復号
化に用いた条件付確率分布テーブルと前フレームの画像
データに基づいて作成された条件付確率分布テーブルと
を重み付け加算して求めた条件付確率分布テーブルに対
応してエントロピー符号化の復号化を行うことを特徴と
する動画像の可逆伸長復号化装置。