JPH03295363A - フレーム内予測符号化方式及び復号化方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野コ 本発明は静止画像、動画像符号化におけるフレーム内予
測符号化方式及び復号化方式に関するものである。

［従来の技術］ 画像符号化方式の１つとして、フレーム内予測符号化方
式と呼ばれるものがある。

この方式は、静止画像、或いは動画像の符号化において
、符号化しようとする１枚の画像信号を用いて予測値を
生成し、これを画像信号から差し引いて得られた残差信
号を量子化して符号化し、その伝送を行なうものである
。

従来、このような技術としては、加藤：”平均値分離形
ブロック符号化方式の符号化効率改善”電子情報通信学
会創立７０周年記念総合全国大会。

講演番号１１５８（昭和６２年）（以下、単に文献とい
う）に開示されたものがある。

上記文献では次に述べるような方法でフレーム内予測符
号化及びその復号化を行なっている。

まず、符号化器について第２図（ａ）を用いて説明する
。

第２図（ａ）に示すように原画像をＴＶカメラ２０１の
撮像管の走査によって光の濃淡分布を表す電気信号に変
換し、更にＡ／Ｄ変換器２０２によって画素に標本化し
、ディジタル画像信号に変換する。このディジタル画像
信号の１画面分（１フレーム）は入力フレームメモリ２
０３に記憶される。

入力フレームメモリ２０３に記憶されたディジタル画像
信号は平均値回路２０４に人力される。

平均値回路２０４は、入力フレームメモリ２０３の画像
’Ｎ号をいくつかの処理ブロックに分割し、各処理ブロ
ック毎に平均値を求める回路である。

２０４て求められた平均値は平均値量子化器２０５に入
力される。平均値量子化器２０５は平均値を量子化、符
号化し、復号化器（第２図（ｂ））。

及び平均値逆量子化器２０６に送る符号を出力する。

２０６は、平均値量子化器２０５の出力符号を逆量子化
して再生平均値を得る回路である。この回路には、通常
、後述する減算器２０８による１フレ一ム分の残差信号
生成を簡易にするため、平均値画像生成回路が組み込ま
れている。平均値逆量子化器２０６の再生平均値は補間
回路２０７に入力される。補間回路２０７は再生平均値
を用いて画像の補間を行ない、最終的な予測信号を生成
する。

２０８は減算器であり、入力画像信号から、予測信号を
差し引いて残差信号を求めるものである。

ここで得られた残差信号は、残差信号量子化器２０９に
よって量子化、符号化される。この残差信号量子化器２
０９の出力符号と、先に述べた平均値量子化器２０５の
分岐した出力符号は多重化器２１０によって多重化され
、伝送路２１１に送り出される。

このような予測符号化を行う上記文献では、平均値逆量
子化器２０６の再生平均値を補間回路２０７で補間して
、予測信号を求めることによって、単純に再生平均値を
予測信号とする場合よりも、高い予測利得を得ることが
できる。従って、符号化効率が向上するというものであ
る。

この様子を第３図に示す。図中（ａ）は原画像、（ｂ）
は再生平均値、（Ｃ）は補間によって得られた予測信号
である。補間することにより、より原画像に近い滑らか
な予測信号を得ることができる。

ところで、上記した従来の補間回路２０７は、次のよう
な考え方に基づいて再生平均値の補間を行っている。

■補間された予測信号の各ブロックの平均値は、原画像
の各ブロックの平均値と等しい。

■各ブロックを式（１）に示す２次曲面Ｚ　（Ｘｙ）で
近似する。

ｚ　（ｘ、ｙ）　−Ａｘ”＋Ｂｙ”＋Ｃｘ＋Ｄｙ＋Ｅ（
１） ここで、（ｋ、ｌ）ブロックの平均値をｍ　（ｋ。

Ｉ）とし、ｘｙ座標とブロック内の画素の位置を第４図
の様に定義すると、補間画像ｂ（ｉ、ｊ）は、 ｂ　（ｉ、ｊ）＝ｚ　（ｉ−４，５，ｊ−４，５）（２
） となって、式（１）の係数Ａ、Ｂ、Ｃ，Ｄ、Ｅは次式（
３）を満たす。

８ ｍ（ｋ、］）＝−ΣΣＡ　　（ｉ−４，５）　　２＋Ｂ
　　（ｊｌ；１５に１ −４．５）’＋Ｅ ｍ　　（ｋ＋　　１．　　　ｌ）　　＝６４Ａ＋８Ｃ十
　Ｅｍ　（ｋ−１，Ｉ）−６４Ａ−８Ｃ＋Ｅｍ　（ｋ、
Ｉ＋１）＝６４Ｂ＋８Ｄ＋Ｅｒｎ（ｋ、ｌ−１）＝６４
Ｂ−８Ｄ＋Ｅ（３） この５元連立１次方程式を解いて、係数Ａ、Ｂ。

Ｃ，Ｄ、Ｅを決定し、式（１）（２）を用いて、補間画
像を作成する。また、この補間に用いたバラメータＡ、
Ｂ、Ｃ，Ｄ、Ｅは、平均値逆量子化器２０６で逆量子化
された再生平均値から生成しているので、復号化器（第
４図（ｂ））に伝送する必要がないという特長がある。

次に、復号化器について第２図（ｂ）を用いて説明する
。

伝送路２１２からの伝送符号は、多重化分離器２１３に
よって分離され、平均値逆量子化器２１４、残差信号逆
量子化器２１５に入力される。平均値逆量子化器２１４
は逆量子化を行なって、再生平均値を補間回路２１６に
出力する。補間回路２１６は先に詳細に説明した方法で
補間画像を作成する。残差信号逆量子化器２１５は逆量
子化によって再生残差信号を出力する回路である。

こうして得られた補間画像と再生残差信号とを加算器２
１７で加え、再生画像を得る。再生画像は出力フレーム
メモリ２１８に入力され、その後Ｄ／Ａ変ｍ器２１９に
よってアナログ画像信号に変換され、画像モニタ２２０
に出力される。

［発明か解決しようとする課題］ しかしながら、上述した従来の方法では、補間画像を求
めるために１つの処理ブロックについて、５元連立１次
方程式を解く必要がある。５元連立１次方程式を解くに
は５Ｘ５の行列を解かなけれがならず、しかもこれが各
処理プロ・ツク毎番こ必要とされるため、処理が非常に
複雑になるという問題点があった。

本発明の目的は、上記した従来技術の問題点を除去し、
単純な処理を繰り返すだけで滑らかな補間画像が得られ
る優れたフレーム内予測符号化方式および復号化方式を
提供することにある。

［課題を解決するための手段］ 本発明のフレーム内予測符号化方式は、静止画像、動画
像のフレーム内符号化を行なうにあたって、入力画像信
号を幾つかの処理ブロックに分割し、ブロック内の平均
値を求め、この平均値を量子化して符号化し、更に逆量
子化して再生平均値を求め、再生平均値から補間画像を
生成し、これを上記入力画像信号から差し引いて残差信
号を求め、この残差信号を量子化、符号化するフレーム
・”内予測符号化方式において、上記再生平均値から補
間画像を生成するにあたり、平滑化を目的とした重みづ
けフィルタを用いて補間を行なうようにしたものである
。

また、本発明の復号化方式は、上記フレーム内予測符号
化方式で符号化された画像信号を復号化するにあたり、
この符号を逆量子化して、再生平均値と再生残差信号と
を生成し、再生平均値から補間画像を生成し、これを再
生残差信号に加えて、再生画像を得る復号化方式におい
て、再生平均値から補間画像を生成するにあたり、平滑
化を目的として重みづけフィルタを用いて補間を行なう
ようにしたものである。

［作用］ 平均値画像の位置によって重みづけ係数を変え、平均値
画像に対するフィルタリングを単純に複数回繰り返して
、平均値画像の全位置に渡ってフィルタリングを行う。

これは符号化と復号化とにおいてそれぞれ行う。これに
より、複雑な連立方程式を解くことなく、滑らかな補間
画像が得られる。

［実施例］ 以下、本発明の実施例を第１図、第５図〜第６図を用い
て説明する。

フレーム内予測符号化器の説明 第１図（ａ）に本発明のフレーム内予測符号化器の実施
例を示す。ここで、画像信号を第５図に示すように、空
間１時間の３次元信号と考え、Ｉ（ｘｙ、ｔ）と表記す
ることにする。

まず、第１図＜ａ＞に示すように原画像をＴＶ左カメラ
０１の撮像管の走査によって光の濃淡分布を表す電気信
号に変換し、更にＡ、　／　Ｄ変換器１０２によって画
素に標本化し、入力ディジタル画像信号に変換する。こ
の人カデイジタル画像；言号１画面分（１フレーム）は
人力フレームメモリ１０３に記憶される。

入力フレームメモリ１０３に記憶されたディジタル画像
信号は、減算器１０９に入力されると共に、その入力は
分岐して平均値回路１０４に入力される。平均値回路１
０４は、入力フレームメモリ１０３の画像信号を幾つか
の処理ブロック（たとえば８×８画素からなる処理ブロ
ック）に分割し、各処理ブロック毎に平均値を求める回
路である。

１０４で求められた平均値は、平均値量子化器１０５に
入力される。平均値量子化器１０５は、平均値を例えば
８ｂｉｔで量子化、符号化し、その符号を平均値逆量子
化器１０６に入力すると共に、その入力を分岐して伝送
先の復号化器（第１図（ｂ））へ送出する。

１０６は、平均値量子化器１０５の出力符号を逆量子化
して再生平均値を得る回路である。この再生平均値は平
均値画像生成回路１０７に入力される。ここでは本実施
例の理解を容易にするために、平均値画像生成回路１０
７を平均値量子化器１０５とは別個の回路として表現し
であるが、既述したように平均値量子化器１０６に組み
込んでもよい。平均値画像生成回路１０７は再生平均値
を使って１フレ一ム分の平均値画像を作成する。

平均値画像生成回路１０７によって得られた平均値画像
は補間回路１０８に入力される。補間回路１０８は後述
する重みづけフィルタによって平均値画像をフィルタリ
ングし、滑らかな補間画像を予測信号として得る回路で
ある。

１０９は減算器であり、入力フレームメモリ１０３から
の入力ディジタル画像信号と、補間回路１０８によって
得られた補間画像とが入力され、入力ディジタル画像信
号から、補間画像を予測信号として差し引いて残差信号
を求めるものである。

ここで得られた残差信号は、残差信号量子化器１１０に
よって量子化、符号化される。この残差信号量子化器１
１０の出力符号と、先に述べた平均値量子化器１０５の
分岐した出力符号は多重化器１１１によって多重化され
、伝送路１１２に送り出される。　以上が本発明の符号
化器の概要である。

補間回路の説明 次に補間回路１０８の詳細な説明に移る。

補間回路１０８は、例えば第６図に示すような重みづけ
フィルタである。基本的に、３種類の大きさのローパス
フィルタを用意する。これを今、便宜的に９個の係数を
持つフィルタ係数ｆ　、（ｘｙ）、４個の係数を持つフ
ィルタ係数ｆ　ｔ（ｘ　、ｙ　）６個の係数を持つフィ
ルタ係数ｆ　ｔ（ｘ　、　　ｙ　）とする。各フィルタ
の係数の総和はいずれも「１」となるように設定されて
いる（例えば、ｆｚ（ｘ、ｙ）について総和をとると、
９　／　１６　＋　３　／　１６　＋　３／１６＋１／
１６＝１となる）、また、書込む位置の係数が最も大き
くなるように設定されている（ｔ＋（ｘ、ｙ）では４／
１６．ｆｔ（ｘ、Ｙ＞では９／　１６．　　ｆ　ｉ（ｘ
、　　ｙ）では６／１６）。

入力画像Ｉ（ｘ、ｙ、ｔ）の左上コーナ部についてはｆ
、（ｘ、ｙ）を用いてフィルタリングする。

もっとも右上、左下、右下コーナ部についてはｆｔ（ｘ
、ｙ）の係数位置をひつくりかえした鏡像フィルタを使
う。ｆ、（ｘ、ｙ）を用いて入力画像Ｉ（ｘｙ、ｔ）の
左上コーナ位置１．をフィルタリングすると、出力画像
Ｇ（ｘ、ｙ、ｔ）上の該当する位置Ｇ１に、この位置を
含む周辺４つの位置の積和演算結果が書き込まれる。

入力画像１（ｘ、ｙ、ｔ）のコーナ部を除く左辺位置に
ついてはｆ　３（Ｘ　、ｙ　）を用いてフィルタリング
する。同様に右、上、下辺位置についてはｆ３（Ｘ、ｙ
）の係数位置をひつくりかえした鏡像フィルタを使う。

そして、入力画像Ｊ（ｘ、ｙ、ｔ）のその他の位置につ
いてはｆ、（ｘ、ｙ）フィルタを用いてフィルタリング
する。なお、上下辺位置および左右辺位置でｆ、（ｘ、
ｙ）を用いないのは、ｆ　＋（ｘ　、ｙ　）の大きさが
それらの位置に合わないからである。

このようにして平均値画像をフィルタリングして補間画
像を得る処理を式で表現すれば次の通りとなる。

１ ｐ　　（ｘ、　　ｙ、　　ｔ）＝Σ　Σｆ（Ｘ、Ｙ）・
ｈ（ｘ＋Ｘ＝−ＩＹ・−１ Ｘ、　　ｙ＋Ｙ、　　ｔ） １　≦Ｘ、　　Ｙ　≦　１ ここで、 ｐ　　（ｘ、　　ｙ ｔ）：補間画像 ｆ　　（ｘ、　　ｙ） ：フィルタ係数 ｈ　（ｘ、ｙ、ｔ）：平均値画像 （４） 平均値画像ｈ　（ｘ、ｙ、ｔ）内の位置によって、ｆ　
（ｘ、ｙ）の重みづけ係数は、既述した如く第６図のよ
うに変える。

これを単純に繰り返して、平均値画像全体に渡って複数
回のフィルタリングを行なえば、第３図（Ｃ）と同じよ
うな滑らかな補間画像が予測信号として得られる。

復号化器の説明 次に、復号化器について第１図（ｂ）を用いて説明する
。

伝送路１１３からの伝送符号は、多重化分離器１１４に
よって量子化平均値と量子化残差信号とに分離され、量
子化平均値は平均値逆量子化器１１５に、量子化残差信
号は残差信号逆量子化器１１６にそれぞれ入力される。

平均値逆量子化器１１５は逆量子化を行なって、再生平
均値を平均値画像生成回路１１７に出力する。平均値画
像生成回路１１７によって得られた平均値画像は補間回
路１１８に入力される。補間回路１１８は、先に詳細に
説明した重みづけフィルタによる方法で補間画像を作成
する。残差信号逆量子化器１１６は逆量子化によって再
生残差信号を出力する回路である。

こうして得られた補間画像と再生残差信号とを加算器１
１９で加え、再生画像を得る。再生画像は出力フレーム
メモリ１２０に入力され、その後Ｄ／Ａ変換器１２１に
よってアナログ画像信号に変換され、画像モニタ１２２
に出力される。

Ｋ監貫（２）皇】 以上述べたように本実施例によれば、平均値画像の補間
を簡単な重みづけフィルタを用いて行っているので、従
来のような複雑な５元連立１次方程式を解かなくても良
い。

また、重みづけフィルタを工夫、即ち周波数を変えるこ
とによって、従来技術と同じような補間画像を得ること
ができる。したがって予測利得が向上し、符号化効率か
向上する。

さらに、従来技術と同様に、補間に用いたパラメータを
復号化器に伝送しなくても良いため、符号化ｂｉｔ数の
低減をもたらすことができる。

なお本発明に、バケット通信に適した符号化方式を実現
する離散コサイン変換（Ｄ　ＣＴ　：Ｄｉｓｃｒｅｔｅ
Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）やＬａｐｐｅｃｌ
−Ｏｒｔｈｏｇｏｎａｌ−Ｔｒａｎｓｆｏｒｍ（Ｌ　Ｏ
Ｔ　）等の直交変換器を用いることもてきる。例えば第
１図（ａ）の減算器１０９と残差信号量子化器１１０と
の間にＤＣＴ変換器を、第１図（ｂ）の残差信号逆量子
化器１１６と加算器１１９との間にＤＣＴ逆変換器をそ
れぞれ介挿することで実現できる。

［発明の効果］ 以上述べたように本発明によれば次の効果を発揮する。

（１）平均値画像の補間を簡単な重みづけフィルタを用
いることにより、単純な処理を繰り返すだけで行え、従
来のように連立方程式を解くことなく、滑らかな補間画
像を得ることができる。

（２）重みづけフィルタを工夫することによって、従来
技術と同じような補間画像が得られ、その結果予測利得
が向上し、符号化効率か向上する。

【図面の簡単な説明】

第１図は本発明の一実施例を示すブロック図で、第１図
（ａ）はフレーム内予測符号化器の構成図、第１図（ｂ
）は復号化器の構成図、第２図は従来例を示すブロック
図て、第２図（ａ）はフレーム内予測符号化器の構成図
、第２図（ｂ）は復号化器の構成図、第３図は平均値画
像補間の説明図で、第３図（ａ）は原画像信号を示す図
、第３図（ｂ）は再生平均値信号を示す図、第３図（Ｃ
）は予測信号を示す図、第４図は従来例の補間回路の動
作説明図、第５図は本実施例の画像信号の表記法の説明
図、第６図は本実施例の重みづけフィルタの説明図であ
る。 １０１はＴＶ左カメラ１０２はＡ／Ｄ変換器、１０３は
入力フレームメモリ、１０４は平均値回路、１０５は平
均値量子化器、１０６は平均値逆量子化器、１０７は平
均値画像生成回路、１０８は重みづけフィルタで構成さ
れる補間回路、１０９は減算器、１１０は残差信号量子
化器、１１１は多重化器、１１２は伝送路、１１３は伝
送路、１１４は多重化分離器、１１５は平均値逆量子化
器、１１６は残差信号逆量子化器、１１７は平均値画像
生成回路、１１８は補間回路、１１９は加算器、１２０
は出力フレームメモリ、１２１はＤ／Ａ変換器、１２２
は画像モニタである。 （ａ）原画像 （ｂ）再生平均値 （ｃ）予測信号 平均値画像補間の説明図 第３図

Claims (1)

1. 【特許請求の範囲】 １、静止画像、動画像のフレーム内符号化を行なうにあ
   たって、入力画像信号を幾つかの処理ブロックに分割し
   てブロック内の平均値を求め、この平均値を量子化して
   符号化し、更に逆量子化して再生平均値を求め、再生平
   均値から補間画像を生成し、これを上記入力画像信号か
   ら差し引いて得られた残差信号を量子化、符号化するフ
   レーム内予測符号化方式において、 上記再生平均値から補間画像を生成するにあたり、平滑
   化を行う重みづけフィルタを用いて補間を行なうように
   したことを特徴とするフレーム内予測符号化方式。 ２、請求項１に記載のフレーム内予測符号化方式で符号
   化された入力画像信号を復号化するにあたり、この符号
   を逆量子化して再生平均値と再生残差信号とを生成し、
   再生平均値から補間画像を生成し、これを再生残差信号
   に加えて再生画像を得る復号化方式において、 再生平均値から補間画像を生成するにあたり、平滑化を
   行う重みづけフィルタを用いて補間を行なうようにした
   ことを特徴とする復号化方式。