JPH02235491A - 画像符号化方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の目的〕 （産業上の利用分野） 本発明は、テレビ会議，デレビ電話等の画像符号化方式
に関する。

（従来の技術） 第２図は従来から用いられているテレビ会議やテレビ電
話等の動画像符号化装置の一例である。

この装置は画像信号入カブロックをフレームメモリ１１
０からの前フレームのブロックを平行移動したものと比
較し、最も誤差の小さい前フレームのブロックを求める
動き補償（演算）回路１１１で動きベクトルＭＶが求め
られ、その前フレームのブロックに低域通過フィルタ１
１２でフィルタをかけ差分器１０ｌで入力ブロックとの
差分がとられる．比較判定器１０２により入力（ｎｏ−
ＭＣ）か差分（ＭＣ）かの選択がなされ，選択情報がマ
ルチプレクサ１０６へ送られる。選択された情報は比較
器１０３でその情報量が計算され、所定のしきい値と比
較され、しきい値より大きいとき符号化ブロックである
ことを示す情報（ｃｏｄｅｄ）がマルチプレクサ１０６
を介して送られる。しきい値より小さいときは符号化ブ
ロックでないことを示す情報（ｎｏｎ−ｃｏｄｅｄ）が
マルチプレクサ１０６を介して送られる。一方符号化ブ
ロックはコサイン変換器１０４でコサイン変換され量子
化器ｌＯ５で量子化されマルチプレクサ１０６へ送られ
る。　このマルチプレクサ１０６と同じデータが逆量子
化器１０７で逆址子化されコサイン逆変換器１０ｇで逆
変換され、このデータが加算器１０９において動き補償
に使われたデータと加算されフレームメモリ１１０に書
込まれる．動き補償されなかった（ｎｏ−ＭＣブロ．ツ
ク）については，切替スイッチ１１３により加算器１０
９に加えられる信号がＯとなりこの加算器はＩＤＣＴデ
ータがそのまま通過して，フレームメモリ１１０へ送ら
れる。　これらの動作においてループフィルタ１１２は
、動きベクトルがＯベクトルのときｏｆｆとなり、　他
の時Ｏｎとなるよう制御を行なうというものである。

（発明が解決しようとする課題） このように従来の符号化装置においては，ループフィノ
？タによる画質向上をはかるため、上で述べたように、
動きベクトルがＯのときｏｆｆとなり他の時ＯＱとなる
ように制御する方式に設定しておくのが有力な方式とな
っている．しかして，動き補償回路はハードウェア規模
が大きく、これを省略した構成が簡易であるが、・符号
化の受信側との相互接続性を確保するため動きベクトル
がＯのとき常時０ベクトルという情報が送られることに
なり、従って、ループフィルタは常にｏｆｆとなるとい
う問題がある． 本発明はこのように動き補償を省略し、０動きベクトル
を送出し続ける時にもオーバーヘッド情報の送出なしに
ループフィルタのｏｎ／ｏｆｆ切替が送受とも同時的に
行なうことを目的としている。

〔発明の構成〕

（．！！題を解決するための手段） 本発明は，上記問題点を解決するため，第一に量子化後
のデータを調べその情報社の大，小により、ループフィ
ルタのｏｎ／ｏｆｆ制御を行なう。又、同じく逆量子化
後のデータを用いても同様の制御を行なうことができる
。又量子化時に定まっている前フレームのステップサイ
ズのうちで現フレームの位置に対応している部分の値か
ら求まる信号を用いて，ループフィルタのｏｎ／ｏｆｆ
制御を行なうこともできる。又これから符号化しようと
する現フレームの位置に対応している前フレームの符号
化されたかされなかったかの情報の組み合わせ情報から
得られる信号を用いてループフィルタのｏｎ／ｏｆｆ制
御を行なうこともできる。

（作用） 本発明により時別なオーバーヘッド情報を付加すること
なく，　ループフィルタのｏｎ／ｏｆｆ制御を送信と受
信で一致して同時的に切替ることができるため、動画で
はなめらかな画像となり、静止画ではより高解像度の画
像となるという作用をもたらす． （実施例） 以下本発明の一実施例を図面を参照して詳述する。まず
第１図に本発明の送信側のブロック図を示す。

このブロック図は第２図のものと同様画像信号入カブロ
ックをフレームメモリ２１０からの前フレームのブロッ
クを平行移動したものと比較し、最も誤差の小さい前フ
レームのブロックを求める動き補償回路２１１で動きベ
クトルＭＶが求められ，その前フレームのブロックに低
域通過フィルタ２１２でフィルタをかけ差分器２０１で
入力ブロックとの差分がとられる．比較判定器２０２に
より入力（ｎｏ−ＭＣ）か差分（ＭＣ）かの選択がなさ
れ、選択情報がマルチプレクサ２０６へ送られると同時
にスイッチ２１３．　２１４の切替信号が出力される。

選択された情報は比較器２０３でその情報量が計算され
，所定のしきい値と比較され、しきい値より大きいとき
符号化ブロックであることを示す情報（ｃｏｄｅｄ）が
マルチプレクサ２０６を介して送られる。　しきい値よ
り小さいときは符号化ブロヅクでないことを示す情報（
ｎｏｎ−ｃｏｄｅｄ）がマルチプレクサ２０６を介して
送られる。　この比較器２０３の出力はコサイン変換器
２０４にも出力されコサイン変換するか否かを決定する
．一方符号化ブロックはコサイン変換器２０４でコサイ
ン変換され量子化器２０５で量子化されマルチプレクサ
２０６へ送られる。量子化器２０５へはＭ　Ｕ　Ｘ　２
０６のバッファ保存容器より量子化ステップサイズ（８
〜１６）がこのマルチプレクサ２０６と同じデータが逆
量子化器２０７で逆量子化されコサイン逆変換器ＩＯＣ
Ｔ２０８で逆変換され、　このデータが加算器２０９に
おいて動き補償に使われたデータと加算されフレームメ
モリ２１０に書込まれる。

動き補償されなかった（ｎｏ−ＭＣブロック）について
は，切替スイッチ２１３により加算器２０９に加えられ
る信号が０となりこの加算器はＩＤＣＴ２０ｇからのデ
ータがそのまま通過して、フレームメモリ２１０へ送ら
れる．　これらの動作においてループフィルタ１１２は
、　動きベクトルが０ベクトルのとぎｏｆｆとなり，他
の時ｏｎとなるよう制御を行なうというものである． この構成では、量子化器２０５出力に判定回路Ａ２１５
あるいは、逆量子化器２０７出力に判定回路８２１６が
接続されている。判定回路Ａ２１５と判定回路Ｂ　２１
６はどちらか一方があればよく、両方存在する必要はな
い。まず判定回路Ａ２１５ではＤＣ成分を除く量子化デ
ータの絶対値和を求め、その総和が所定の値より大のと
きループフィルタ２１２の動作をｏｎとし，そうでない
時ｏｆｆとする。　このｏｎ，ｏｆｆ制御信号はループ
フィルタ動作よりも前に得られていないといけないので
，符号化すべきブロックに関し、それ以前に上記演算が
なされたものがあらかじめ記憶されており，符号化ブロ
ックとなってＤＣＴ、量子化，又は逆量子化まで行なわ
れた時点でそのｏｎ，ｏｆｆ制御信号が更新されていく
．第３図に判定回路Ａの動作する範囲とブロック図を示
す．第３図（ａ）は、符号化単位である８×８のブロッ
クがコサイン変換、量子化されたちのであり左上にＤＣ
成分が１ブロックあり残りの６３ブロックがＡＣ成分で
ある。このＡＣ成分が順次判定回路Ａに供給され絶対値
がとられ累積加算され，所定のしきい値と比較されブロ
ック単位でループフィルタをＯｎにするかｏｆｆにする
かという情報としてメモリに書込まれる。書込みはルー
プフィルタが動作終了してから次に始まるまでの期間に
行なわれ，書込みが行なわれる度にそれ以前に書込まれ
ていたそのブクックに関するｏｎ／ｏｆｆ情報は、新し
い情報に更新される。

本発明では第３図（ｂ）で絶対値回路７００と加算７０
１を用いたが、２乗の累積加算を用いてもよく、一般に
符号化されたブロックの情報量を示すものであれば他の
演算によってもよい。

判定回路Ｂを用いる場合、逆量子化結果が逆量子化前の
データと異なるため、演算のダイナミックレンジや所定
のしきい値の値が異なってくるが、判定回路△と同様の
動作を行なえばよい。

又，上記実施例では、ｏｎ／ｏｆｆメモリはブロックの
数だけ用意されていたが，第４図に示す７０５（ａ）　
−　（ｎ）のように複数枚用意し，書換えのたびに７０
５（ａ）より７０５（ｎ）の方向にそのブロックのｏｎ
／ｏｆｆ情報がシフトしていく構成にし、ｏｎを１でｏ
ｆｆを０で書込み，同一ブロックについてはその論理和
（ＯＲ回路７０６）出力をもってループフィルタのｏｎ
／ｏｆｆ信号としてもよい．　この場合、ある範囲の時
間情報量の小さいデータが継続した時はじめて、ループ
フィルタがｏｆｆとなるような動作を行なう。

又これらのｏｎ／ｏｆｆメモリは、初期状態としては，
全て０ロであるようにセットしておくこともできる。

判定回路の位置は上述の量子化出力、あるいは逆量子化
出力のみによらず、例えばＤＣＴ出力等によっても判定
することができる。

次に本発明の他の実施例を第５図を用いて説明する。構
成として第１図のものと同一な部分の説明は省略する．
上述した例の量子化のステップサイズは出力バッファよ
り指定されているが、この例ではステップサイズを画素
又はブロック単位で符号化ブロック処理のたびにメモリ
に書込む。ループフィルタ動作時に動き補償演算回路３
１１で求った動きベクトルにより指定されるブロックの
位置に相当するステップサイズが読出され，ループフィ
ルタの動作のｏｎ／ｏｆｆが決められていくように構成
されている。第６図に大枠で示した符号化ブロック（中
心部）と点線で示すフレームメモリより読出された画像
ブロックを示す。点線のブロックは左に２，下に２ずれ
たブロックである。ブロック内に示した数字は各ブロッ
クで前回までに用いられていたステップサイズである。

ここで点線の前フレームメモリ画像に対してその面積に
応じたステップサイズの平均を求めると（３０Ｘ３６＋
１０Ｘ　１２＋１００Ｘ　１２＋３ｏｘ４）／６４＝３
９．３７５となる。

この値とあらかじめ決められた所定の値とを比較してこ
のブロックについてフィルタをｏｎ／ｏｆｆするかが決
定される． この場介ステップサイズの平均を求めて判定基準とした
が，これらのステップサイズの情報をいかした判定であ
れば他の演算によってもよい。例えば最大ステップサイ
ズＭａｔ（３０，　１０，　１００．　３（４）＝１０
０とか最小ステップサイズＷｉｎ（３０，　１０，　１
００．　３（４）＝ＩＯとか単純平均ステップサイズ７
（３０　＋　１０　＋　１００＋３（４）＝４２．５を
用いることもできる．次に本発明の別の実施例を第７図
に示す。符号化されたか符号化されないかを判定する判
定撤４０３の出力がブロック単位にメモリに記憶され，
ループフィルタ動作時にループフィルタｏｎとするか、
ｏｆｆとするかの判定を判定回路４１５で行なう。

ブロックごとに以前に符号化された時をＣ　（ｃｏｄｅ
ｄ）符号化されなかった時Ｎ　（ｎｏｎ−ｃｏｄｅｄ）
により第８図に示してあるが，動き補償演算回路４１１
で動きベクトルが左へ２，下へ２で第８図の点線で示し
た位置の前フレｉムメモリのデータを用いるとした時，
このブロックが重なっている。

Ｃ１：Ｎ３この４つのブロックのＮとＣの組み合わせに
よりループフィルタｏｎ／ｏｆｆの判定を行なう．判定
法として，Ｎに関するアンドすなわちＮ−Ｎ−Ｎ−Ｃ＝
Ｃでループフィルタｏｎや多数決すなわち，多数決（Ｎ
，Ｎ，Ｎ，Ｃ）＝Ｎでループフィルタｏｆｆ等がある。

又面積比による重みづけ等を行なってもよい。

これらの実施例においてループフィルタのｏｎ／ｏｆｆ
制御は，符号化にかかわるブロック、即ちｃｏｄｅｄ　
／　ｎｏｎ　ｃｏｄｅｄ　．ステップサイズ．址子化又
は逆量子化データで判定が行なわれたブロックについて
情報が書換わるたびにループフィルタ制御を切替る形を
原則として説明したが、第４図で述べた実施例のように
ある一定期間にわたるデータにより制御することにより
安定な制御を行なってもよい。又判定の切替は制御情報
更新のたびに行なうのではなく切替わった後一定期間内
例えば１秒以上は同一の状態を保持するというヒステリ
シス動作を行なうことにより安定な制御を行なうことも
できる．　その場合ｏｎとｏｆｆとで同一状態の保持時
間幅を変えて差別化とてもよい、 又，別の実施例として，動き補償の動きベクトルとの組
．み合わせで制御することもできる。即ち動きベクトル
が０又は実質Ｏとみなせる例えば水平±１，垂直±１の
範囲内にあるような小さい偏位であるときに限って，本
発明を適用するようにしてもよい。これは動きベクトル
が画像中の動物体のところで大きく，かつ、剛体のとき
は動き補償差分の出力が小さいため，符号化を行．なわ
ないｎｏｎ−ｃｏｄｅｄになるが，　このときはまだ静
止画になっていないのでループフィルタをｏｎのままに
しておいた方が安定した画質を示すという作用が期待さ
れる．そして，動きベクトルが０又は実質Ｏになった後
、本発明を適用することにより，一層安定した動作を示
すことになる。

〔発明の効果〕

本発明は第１にフィルタのｏｎ／ｏｆｆを示すオーバー
ヘッド情報を付加しないため効率がよく、又符号構成が
簡易化する。ブロックごとに例えば１ビットのｏｎ／ｏ
ｆｆ情報を付加したとするとその符号量は画面全体で１
５８４ビットにもなり，特に６４Ｋｂｐｓの低ビットレ
ート伝送では著しく効率を低下させてしまう．又ループ
フィルタのｏｎ／ｏｆｆ制御を動きベクトルの値で制御
する方式においては動き補償回路をとった構成では常時
動きベクトルＯとなるため、ループフィルタは常時ｏｆ
ｆとなり画質が劣化するが，本発明により、このような
場合も、安定に効率よくループフィルタを制御すること
ができる。

【図面の簡単な説明】

第１図は本発明の一実施例を示すブロック図，第２図は
従来例を示すブロック図、第３図は判定方法及び判定回
路を示す図、第４図は判定回路を示す図、第５図は本発
明の他の実施例を示すブロック図、第６図は画像ブロッ
ク図、第７図は本発明のその他の実施例を示すブロック
図、第８図は画像ブロック図である。 代理人　弁理士　則　近　憲　佑 同　　松山允之 第 図

Claims (6)

【特許請求の範囲】
1. （１）入力されるフレーム画像信号のブロックを、１フ
   レーム前の画像信号のブロックを平行移動したものとを
   比較し、誤差の小さいブロックを求め、求められたこの
   １フレーム前のブロックに動き補償のループフィルタを
   かけ符号化を施し伝送する画像符号化方式であって、 前記ループフィルタによる動き補償を行なうか否かを、
   前記符号化を行なった後の結果により選択することを特
   徴とする画像符号化方式。
2. （２）請求項１記載の符号化はコサイン変換及び量子化
   の順で行なわれ、量子化後のデータにより前記ループフ
   ィルタによる動き補償を行なうことを特徴とする画像符
   号化方式。
3. （３）前フレームメモリのブロックを平行移動して現フ
   レームの画像データの差分をとりループフィルタにより
   動き補償し、コサイン変換を行ない伝送し、又量子化後
   のデータを逆量子化し前フレームメモリに入力する画像
   符号化方式であって、前記量子化後のデータ、又は、そ
   の逆量子化を行なった後のデータでループフィルタ動作
   以前に得られているデータにより、動き補償のループフ
   ィルタ動作のオン／オフの切替を行なうことを特徴とす
   る画像符号化方式。
4. （４）動き補償に用いられているブロックの各画素に対
   応する全量子化ステップサイズから求まる判定値により
   、動き補償のループフィルタの動作のオン／オフ切替を
   行なうことを特徴とする請求項１及び２及び３記載の画
   像符号化方式。
5. （５）前フレームメモリのブロックを平行移動して、現
   フレームの画像データの差分をとり、動き補償し、所定
   の判定基準によりコサイン変換を行ない、量子化し符号
   化するか、又はコサイン変換量子化せず、符号化しない
   という切替をブロック単位で行ない、前フレームの動き
   補償に用いられているブロックの各画素が符号化された
   かされなかったことの組み合わせにより、求まる判定値
   により動き補償のループフィルタの動作のオン／オフ切
   替を行なうことを特徴とする画像符号化方式。
6. （６）ループフィルタのオン／オフ制御は、切替後は所
   定期間切替わらないというヒステリシス動作をすること
   を特徴とする請求項１及び２及び３及び４及び５記載の
   画像符号化方式。