JPH0399591A - 動き補償フレーム間符号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明はテレビジョン信号の動き補償学島フレーム間符
号化装置に関する。

従来の技術 近年、動画像符号化技術の発達にともない、テレビ電話
またはテレビ会議システムで用いられるカラー動画像の
高能率符号化装置として動き補償予測フレーム間符号化
装置が開発されている。例えば、山水英雄、羽鳥好律「
テレビ電話、テレビ会議の研究動向、カラー動画像低レ
ート符号化動向」（電子情報通信学会誌、Ｖｏｌ　７Ｑ
、　ｎｏ９．　ｐｐ９３９−ｐｐ９４４．１９８７年９
月）に記載された動き補償予測フレーム間符号化装置が
知られている。

動き補償予測フレーム間符号化方式は、高い符号化効率
を実現できる反面、以下に述べる問題点を有している。

テレビ電話、テレビ会議システムでは伝送する映像と音
声の同期が取れていなければならない為に動画像符号化
装置では、一定のフレームンートで映゛像伝送が実現で
きるように予測誤差信号の発生量が多い場合には量子化
特性を粗くして、伝送する予測誤差信号の符号量を低減
している。量子化特性を粗くした場合には、再生画隊の
画面上に量子化雑音が現われる。これを、（１）ダーテ
ィウィンドウ（ｄｉｒｔｙ　ｗｉｎｄｏｗ　）、（２）
ブロック歪、（３）モスキードノイズ（ｍｏｓｑｕｉｔ
ｏｎｏｉｓｅ：注）と言い、画質劣化の要因となってい
る。

（注：予測誤差信号を直交変換し、変換係数全量子化す
る動き補償フレーム間符号化装置に現れる画質劣化） これらの画質劣化を低減する方式として特開昭５８−１
０７７８５号公報記載の　「動き補償フレーム間符号化
装置」が知られている。以下、簡単にその構成を説明す
る。その動き補償フレーム間符号化装置は、いわゆるブ
ロックマツチング法を用いて動ベクトル算出を行う場合
に適応されるものであり、種々のシフトベクトルだけ空
間的にずれた位置にある前フレームのテレビジョン信号
から構成されるブロックと入力フレームのテレビジョン
信号から構成されるブロックとの類似度を求める手段を
示す評価値を求める手段と、その種々のシフトベクトル
の中から類似度が最大となるシフトベクトルを動ベクト
ルとして検出する手段と、その検出された動ベクトルに
対する評価値とシフトベクトルを零ベクトルとした場合
の評価値を比較し、両者の近似度が犬であれば該当ブロ
ックの動ベクトルを零ベクトルに修正する手段を設ける
ことにより、ダーティウィンドウやモスキードノイズに
由来する画質劣化を軽減している。

上記方式で画質劣化が軽減する作用を以下に記述する。

動ベクトル検出時に用いるブロック間の類似度判定の評
価値としては、（１）現フレームのブロック内画信号と
シフトベクトルだけずれた前フレームのブロック内画信
号との差分の絶対値和、（２）現フレームのブロック内
画信号とシフトベクトルだけずれた前フレームのブロッ
ク内画信号との差分の絶対値が一定の閾値を越えたもの
の個数、等があり類似度が大きくなるほど評価値が小さ
くなるように評価値が選ばれている。一方、入力テレビ
ジョン信号に雑音が含まれている場合には動ベクトル算
出ブロックが静止的であっても当該ブロックが静止して
いることを示すシフトベクトル（０，０）に対するシフ
トベクトルが必ずしも最小とならず、静止している部分
が動いていると判定され動き補償フレーム間予測処理が
なされ、画質劣化が発生していた。従って、いったん検
出した動ベクトルに対する評価値Ｄｖとシフトベクトル
（０，０）に対する評価値ＤＯの差分が一定値未満であ
ればそのブロックについて画像は静止的であると見なし
フレーム間予測を行い、差分が一定値以上であれば動的
であると見なし動ベクトルを用いて動き補償フレーム間
予測を行う事により、静止しているブロックを動いてい
ると誤判定することにより発生した画質劣化が軽減され
る。

発明が解決しようとする課題 しかし、以上のような構成では静止しているブロックを
動いていると誤判定することにより生じる画質劣化が充
分に除去できないという課題があった。その要因として
以下の事が考えられる。

すなわち、従来の動きベクトルは、動きを含んだ画像に
対して高い符号化効率を得る為にフレーム間予測誤差を
削減することを目的として算出したものであり、必ずし
も画像中の動体の実際の動きと一致しているものではな
い。例えば、フレーム間で照明のフリッカによる画面全
体の輝度変化が発生した場合や、量子化雑音を多く含ん
だ前フレームと入力テレビジョン信号間で動ベクトルを
算出した場合は、動ベクトル算出に用いた評価値の近似
度や、動ベクトル算出に用いた評価値の差分ては、静止
的なブロックを動的なブロックと誤判定する場合があっ
た。

本発明は、以上のような課題に鑑み、ブロックが静止的
であるか動的であるかの判定が、入力テレビジョン信号
にフリッカなどの雑音が含まれている場合や、前フレー
ムに量子化雑音が多く含まれている場合でも、正確に行
え、静止しているブロックを動的であると誤判定するこ
とにより生じる画質劣化や動ベクトル伝送用の符号発生
を削減した動き補償フレーム間符号化装置を実現するも
のである。

課題を解決するための手段 上記目的を達成するため、本発明の技術的解決手段は、
テレビジョン信号の１フレームマタハ１フィールドを定
められた大きさのブロックに分割し、個々のブロックに
ついてテレビジョン両縁の動きである動ベクトルを検出
し、テレビジョン信号の１フレーム前の画像に対し前記
動ベクトルを用いて動き補償した予測信号を算出し、予
測信号と入力テレビジョン信号との予測誤差を符号化す
る動き補償フレーム間符号化装置で、テレビジョン信号
の処理ブロックについて画素値ｇ（ｉ、ｊ）の平均画素
値Ｐを算出し、ブロック内の各画素の画素値ｇ（ｉ、ｊ
）と平均画素値Ｐの差分値ｄ（ｉ、ｊ）を算出し、予め
定められた平均差分値により差分値ｄ（ｉ、ｊ）が太き
いか等しい画素に対して数値「１」を、その他の場合に
数値「０」を割り当てた２値パターンを算出する手段と
、処理ブロックの２値パターンと前フレームの処理ブロ
ックと同一位置のブロックの２値パターンを画素単位で
比較し不一致数が予め定めたパターン差分値Ｌより大き
いか等しい場合に処理ブロックを動ブロック、その他の
場合を静止ブロックと判定する手段と、動ブロックのみ
動ベクトルを用いて動き補償予測を行なう手段を具備す
る事である。

作　　　　用 本発明は、動ベクトル算出の手段とブロックが静止的で
あるか動的であるかの判定手段（これを静動分離の手段
と呼ぶ）を別個に設けるとともに、静動分離の手段につ
いて予測誤差の量子化特性に無関係で、入力テレビジョ
ン信号に雑音が重畳していても正確に静動判定ができる
ものである。

その静動分離は、子側誤差信号の量子化特性と無関係に
静動分離を行なうために、入力テレビジョン信号の処理
ブロックと１フレーム（または、１フィールド）前の入
力テレビジョン信号の処理ブロックと同一位置にあるブ
ロックを比較し、該当ブロックが静止的であるか動的で
あるか判定する。さらに、入力テレビジョン信号にフリ
ッカなどの雑音が重畳していても静動分離が正確に行え
るように、ブロック内の隣接した画素は互いに似た画素
値を有している性質を利用し、ブロック内の画素の平均
画素値を算出し、ブロックの画情報を各画素が前記平均
画素値と比較し大きい（または等しい）か、まだは小さ
いかの２値パターンで表現し、２値パターンの比較で静
動分離を行なう。

このように、ブロックの各画素値より平均画素値を分離
することにより、入力テレビジョン信号に雑音が重畳し
ていてもその影響を低減することができ、また２値パタ
ーンはブロックの細微な特徴を表現している為に、静動
分離が正確に行える。

実施例 以下、第１図を参照しながら本発明の一実施例について
説明する。第１図は本発明の第１の実施例に於ける動き
補償フレーム間符号化装置のブロック図である。第１図
において、３は動ベクトルを算出する動ベクトル算出部
、４は前フレームの再生画像を蓄積する画像メモリ部、
７は処理ブロックが静止的であるか動的であるかの判定
をする静動分離部、９は動的なブロックに対しては前フ
レームの画素値を動ベクトルで動き補償し、静止的なブ
ロックに対しては前フレームの画素値をそのまま、予測
信号として出力する動き補償予測部、１１は処理ブロッ
クの画素値と予測画素値の差分を行ない、予測誤差を算
出する減算器、１３は予測誤差を直交変換する直交変換
部、１６は直交変換した予測誤差を発生符号量によシ制
御した量子化レベルで量子化する量子化部、１８は量子
化した直交変換予測誤差を逆直交変換する逆直交変換部
、２０は量子化誤差を含んだ予測誤差と予測信号を加算
し再生画像を算出する加算器、２２は動ベクトルを符号
化る動ベクトル符号化部、２４ハ量子化した直交変換予
測誤差を符号化する予測誤差符号化部、２６は動ベクト
ル符号と予測誤差符号よシ伝送フレームを構成するフレ
ーム構成部、２８は伝送フレームデータを一時蓄積する
伝送メモリ部である。

以上のような構成に於て、以下その動作を説明する。ま
ず、テレビジョン信号は第１図には図示されていない信
号処理部でアナログ／ディジタル変換され、水平方向Ｍ
画素、垂直方向Ｎラインのブロックに分割され、入力端
子１より入力テレビジョン信号２として入力する。次に
、動ベクトル算出部３Ｉ′ｉ人カテレビジョン信号２と
、画像メモリ部４より読みだした前フレームの再生画像
５を比較し動ベクトル６を算出する。一方、静動分離部
７では、後述する構成により入力テレビジョン信号２の
プロ、、、；りが静止的であるか動的であるかを判定し
、その結果を動き補償制御信号８として出力する。丑た
、動き補償予測部９では動き補償制御信号８により、前
フレームの再生画＠５に対し、入力テレビジョン信号２
が動的である場合には動ベクトル６を用いて動き補償し
、静止的である場合はそのま捷予測信号１０として出力
する。

減算器１１は入力テレビジョン信号２とその予測信号１
０　との差分を算出し、予測誤差信号１２として出力す
る。直交変換部１３　は予測誤差信号１２に対し直交変
換処理（多くの場合、離散コサイン変換）を行ない、変
換係数１４を算出する。

伝送符号量１５により量子化レベルを制御された量子化
部１６は、変換係数１４を量子化し、量子化予測誤差信
号１７を算出する。逆直交変換部１８は、量子化された
予測誤差信号１７を逆変換し、量子化誤差を含んだ予測
誤差信号１９を算出する。次に、加算器２０は量子化誤
差を含んだ予測誤差信号１９と予測信号１０を加算し現
フレームの再生画像２１を算出する。現フレームの再生
画像２１は画像メモリ部４に蓄積され、次フレームの符
号化処理に使用される。一方、動ベクトル符号化部２２
は動ベクトル６を符号化し動ベクトル符号２３　として
出力する。予測誤差符号化部２４は、量子化された予測
誤差信号１７を符号化し予測誤差符号２５を出力する。

そしてフレーム構成部２６では、予測誤差符号２５と動
ベクトル符号２３により伝送フレーム２７を構成し出力
する。次に、伝送メモリ部２８はその伝送フレーム２７
を一旦蓄積し、符号読み増り速度に同期して、伝送信号
２９を出力する。

以下、静動分離部７の動作を第２図を用いて詳細に説明
する。平均画素値算出部７１では入力テレビジョン信号
２についてブロック単位で、下記第（１）式により平均
画素値７２を算出する。

但し、 Ｐ　　　：平均画素値 ｇ（ｉ、Ｊ）ニブロック内の座標（ｉ、Ｊ）の画素値 Ｍ　　　ニブロックの水平方向画素数 Ｎ　　　ニブロックの垂直方向ライン数そして２値化７
３では、入力テレビジョン信号２と平均画素値７２と平
均差分値Ｋを用いて、第（２）式によシ入カテレビジョ
ン信号を２値化し、２値化画素値７４を算出する。

但し、 Ｓ（ｉ、ｊ）：　　２値化後の画素値 なお、上記第（２）式の平均差分値には、ブロック内の
各画素の画素値ｇ（ｉ、ｊ）について、平均画素値Ｐと
同一もしくは平均画素値Ｐの近傍に分布しているものが
多いと考えられるため、２値化の閾値を、平均画素値Ｐ
より平均差分値にだけずらして２値化のパターンが入力
画信号の持つ細微な特徴を明確に表わせるようにしたも
のである。

平均差分値にの値は、（Ａ）代表的な画像について平均
画素値Ｐと各画素の画素値ｇ’（ｉ、ｊ）の分散の関係
を求めて決め固定値として持つ方法、（Ｂ）各ブロック
ごとに平均画素値Ｐと各画素の画素値ｇ（ｉ、ｊ）の分
散を求めて、ブロック毎に決定する方法などがある。

さて、次にパターンメモリ部７５は２値化した画素値７
４を蓄積する１フレームメモリであシ、処理フレームの
２値化画素値Ｓ（ｉ、ｉ）を書き込むと同時に、処理フ
レームに対し１フレーム前の同一アドレスの２値化画素
値ｒ８（ｉ、ｊ）を読みだし、参照２値化画素値７６　
として出力する。

パターンメモリ部７５は、第一処理フレームの符号化処
理開始以前に、全アドレスに数値「０」を書き込む。

静動判定部７７は、２値化した画素値７４と参照２値化
画素値７６を画素単位に比較し、ブロック内の不一致画
素数を計数し、第（３）式によりブロックが静止的であ
るか動的であるかを判定し、動き補償制御信号８を出力
する。

Ｄ（ｕ、ｖ）−Ｑ：　　　　　　　　　・・・・・・（
３）ｎｕｍ（Ｓ（ｉ　、ｊ　）−＃ｒＳ（ｉ　、ｊ月く
Ｌｌ　： ｎｕｍｂｓ（ｉ　、　ｊ　）学ｒＳ（ｉ　、　ｊ月≧Ｌ
但し、 Ｄ（ｕ、ｖ）：　位置アドレス（ｕ、ｖ）のブロックの
動き補償制御値 「０」の時は、動き補償しない。（静止的）「１」の時
は、動き補償する。　　（動的）ｎｕｍ（ｘｌ　：条件
Ｘの成立数を計数する関数Ｌ　　：パターン差分値 なお、上記第（３）式のパターン差分値りは、入力テレ
ビジョン信号に重畳した雑音や、入力テレビジョン信号
を２値化する際に画素値が閾値近傍にあることにより生
じる２値化歪を取シ除き、静止的なブロックを動的であ
ると誤判定する事が無いように設定する。Ｌの値は、「
１」以上の整数値で、（Ａ）代表的な画像について、予
め求めた平均差分値Ｋを用いて２値化したパターンで誤
りなく静動分離が行える値を求め、それを固定値として
持つ方法、（Ｂ）各ブロックごとに平均画素値Ｐと各画
素の画素値ｇ（ｉ、ｊ）の分散を求めて、ブロック毎に
求めた平均差分値により決定する方法、等がある。

第３図と第４図に第１図の構成により静動判定を行なっ
たブロックの実施例を示す。ブロックサイズは、両者と
もＭ＝　１６画素、Ｎ−１６ラインとし、平均差分値に
＝０、パターン差分値＝１０とした例である。第３図（
ａ）、（ｂ）は、第ｎ　−１フレーム、第ｎフレームと
・もに画素平均値Ｐ−９３となり、２値化後の不一致画
素は実線で囲んだ２画素だけなので、パターン差分値Ｌ
−１０よシ小さいので静止的と判定する。第４図（ａ）
、（ｂ）は、第ロー１フレームの画素平均値Ｐ＝＝３５
、第ｎフレームの画素平均値Ｐ＝４０となり、２値化後
の不一致画素は実線で囲んだ５６画素となり、パターン
差分値Ｌ＝　１０　よシ大きいので動的と判定する。

発明の効果 以上のように、本発明の効果としては、ブロックが静止
的であるか動的であるかの判定が、入力テレビジョン信
号にフリッカなどの雑音が含まれている場合や、前フレ
ームに量子化雑音が多く含まれている場合でも、正確に
行え、静止しているブロックを動的であると誤判定する
ことにより生じる画質劣化や動ベクトル伝送用の符号発
生を削減し、その結果符号化した画像の画質向上を図る
ことができる。

【図面の簡単な説明】

第１図は本発明の一実施例における動き補償フレーム間
符号化装置のブロック結線図、第２図は第１図の要部で
ある静動分離部の構成を詳細に示したブロック結線図、
第３図と第４図は同装置による静動分離を実際のテレビ
ジョン信号に適応した概念図である。 １・・・入力端子、３・・・動ベクトル算出部、４・・
・画像メモリ部、９・・・動き補償予測部、■３・・・
直交変換部、１６・・量子化部、１８・・逆直交変換部
、２２・・・動ベクトル符号化部、２４・・予測誤差符
号化部、２６・・・フレーム構成部、２８　・・伝送メ
モリ部、７１・・・平均画素値算出部、７３・・・２値
化部、７５・・・２値パターンメモリ部、７７・　静動
判定部。

Claims (1)

【特許請求の範囲】
1. テレビジョン信号をアナログ／ディジタル変換するアナ
   ログ／ディジタル変換手段と、そのディジタル化した入
   力テレビジョン信号の１フレームまたは１フィールドを
   定められた大きさのブロックに分割するブロック分割手
   段と、その個々のブロックについてテレビジョン画像の
   動きである動ベクトルを算出する動ベクトル算出手段と
   、入力テレビジョン信号の処理ブロックについて画素値
   ｇ（ｉ、ｊ）の平均画素値Ｐを算出し、ブロック内の各
   画素の画素値ｇ（ｉ、ｊ）と平均画素値Ｐの差分値ｄ（
   ｉ、ｊ）を算出し、予め定められた平均差分値により差
   分値ｄ（ｉ、ｊ）が大きいか等しい画素に対して数値「
   １」を、その他の場合に数値「０」を割り当てた２値パ
   ターンを算出する２値パターン算出手段と、その処理ブ
   ロックの２値パターンと前フレームの処理ブロックと同
   一位置のブロックの２値パターンを画素単位で比較し不
   一致数が予め定めたパターン差分値Ｌより大きいか等し
   い場合に処理ブロックを動ブロック、その他の場合を静
   止ブロックと判定する判定手段と、その動ブロックにつ
   いては前記動ベクトル値を用いて前フレームの画像を動
   き補償した予測信号を算出し、前記静止ブロックについ
   ては前フレームの画像を予測信号として算出する予測信
   号算出手段と、その予測信号と前記入力テレビジョン信
   号との予測誤差を算出する予測誤差算出手段と、前記予
   測誤差を符号化する予測誤差符号化手段とを具備した動
   き補償フレーム間符号化装置。