JPH02206991A - 動き補償処理方式およびフレーム間符号化処理方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （１）発明の属する分野 本発明は、動画像の画信号を高能率に符号化し。

伝送、蓄積するため、フレーム間の相関を除去する動き
補償処理と、さらに、伝送、蓄積される符号量をコント
ロールするため、符号化されるフレームを間引き、符号
化されるデータ量を変化させる処理を有する符号化処理
方式において、動き補償処理を行う際に９間引きされる
フレームに対して内挿される信号を生成し、内挿信号と
間引きフレームとの内挿誤差を動きベクトルの選択に利
用し３画像の動きにあった動きベクトルを抽出できる動
き補償処理と、該動き補償処理を用いて内挿画像の画品
質を向上させるフレーム間符号化処理方式に関するもの
である。

（２）従来技術 従来２間引きされたフレームを内挿する技術として、　
’Ｍｏｔｉｏｎ　ｃｏｍｐｅｎｓａｔｉｎｇ　ｆｉｅｌ
ｄ　１ｎｔｅｒｐｏｌａ−ｔｉｏｎ　ｕｓｉｎｇ　ａ　
ｈｉｅｒａｒｃｈｉｃａｌｌｙ　ｓｔｒｕｃｔｕｒｅｄ
ｄｉｓｐｌａｃｅｍｅｎｔ　ｅｓｔｉｍａｔｏｒ　、　
５ＩＧＮＡＬ　ＰＲＯＣＥＳＳＩＮＧ＋Ｖｏ１．１１．
　Ｎｏ、４．　Ｄｅｃｅｍｂｅｒ　１９８６などがある
。これは、動きベクトルの検出精度を向上させるため前
のフレームから現フレーム、さらに現フレームから前の
フレームの動きベクトル検出を繰り返すことにより動き
検出精度を向上させたり、動きベクトルの検出ステップ
を複数回に分け、最初の段階では大きなブロックで検出
を行い画信号の動きを精度良く抽出し、以降、徐々に検
出のためのブロックサイズを小さくすることで画信号の
変化に対応した検出を行うなどの方法を用いるものであ
る。しかしながら、従来方式では繰り返し演算や階層的
な演算が必要となり、精度良く動きを検出するために膨
大な処理量が必要になる。また、動きを検出する際に、
符号化されるフレーム間の動きのみに注目し２間引きさ
れるフレームに対する内挿誤差については考慮されてい
ない。

（３）発明の目的 本発明は９以上の問題点を解決するためになされたもの
で、動きを検出する際に受信側で生成される内挿信号を
予測し９間引きされるフレームに対する内挿誤差を動き
検出に利用することで、少ない処理量で内挿画品質の高
い画像の動きにあった動きベクトルを抽出できる動き補
償処理方式と。

該動き補償処理を用いた。フレーム内挿処理を有するフ
レーム間符号化処理方式とに関するものである。

（４）実施例 第１図は動き補償処理方式の一実施例構成を示す。１は
現フレーム信号入力端子であり、符号化されるべき信号
が入力され、それぞれ動き予測誤差検出部７と間引きフ
レーム内挿処理部８とに送られる。２は復号画信号入力
端子であり、現フレームの前に符号化されたフレームの
復号画像が入力され、フレームメモリ　（Ｉ）５に人力
される。

３は間引きフレーム信号入力端子であり１間引かれたフ
レームの信号が入力されフレームメモリ（２）６に人力
される。フレームメモリ　（１）５に蓄えられている復
号画信号と現フレームの画信号とは動き予測誤差検出部
７に送られ、動きベクトル探索範囲内のブロックどうし
で動き評価関数値として、ブロック間の対応する位置で
の画素の差分の絶対値和を求める。また、フレーム内挿
処理部８ではフレームメモリ　（１）５からの復号画信
号と入力端子ｌからの現フレーム画信号とから間引きさ
れたフレームに対する内挿画信号を生成し、内挿誤差検
出部９に送る。該内挿誤差検出部９では、フレーム内挿
処理部８の内挿信号とフレームメモリ　（２）６の間引
きフレーム信号とから。

内挿評価関数値として間引きフレームのブロックと内挿
ブロックとの対応する位置での画素間の差分の絶対値和
を求める。動き予測誤差検出部７゜内挿誤差検出部９で
求められた値は動き内挿評価部１０で動き内挿評価関数
値として動き評価関数値、内挿評価関数値の和を求め、
探索範囲内でその値が最小となるベクトルを動きベクト
ルとして検出しフレームメモリ　（１）５へ送る。フレ
ームメモリ　（１）５では、その動きベクトルにしたが
って動き予測信号を生成し、動き予測信号出力端子４か
ら出力する。

第２図はフレーム間符号化処理方式の符号化に関する一
実施例構成を示す。第１図と同じ動作を行うものは同じ
番号で示している。１１は両信号入力端子であり連続す
るフレームの画信号が人力される。１２は間引き処理部
であり、入力される画信号よりフレームを間引く処理を
施す。間引かれた画信号はフレームメモリ　（２）６に
送られる。

フレームメモリ（１）５から動き内挿評価部１０までの
動作は第１図と同じであるため省略する。

フレームメモリ　（１）５からの動き予測信号は間引き
処理部１２で選択された符号化される画信号より引かれ
、動き予測誤差信号となる。動き予測誤差信号はディス
クリートコサイン変換部１３で変換され、量子化部１４
に送られる。量子化された変換係数は間引き処理部１２
の間引きフレーム情報と動き内挿評価部１０の動きベク
トル情報とともに可変長符号化部１７で可変長符号化さ
れ。

出力端子１８より出力され伝送、蓄積される。また量子
化部１４の量子化信号は逆量子化部１５で逆量子化され
、その後、逆デイスクリートコサイン変換部１６で逆デ
イスクリートコサイン変換され３画体号レベルに逆変換
される。逆デイスクリートコサイン変換部１６で得られ
た量子化された動き予測誤差信号はフレームメモリ　（
１）５の動き予測信号と和がとられ、復号側と同じ復号
画信号を生成し、フレームメモリ　（１）５に蓄えられ
る。

第３図はフレーム間符号化処理方式の復号化に関する一
実施例構成を示す。符号化データ入力端子１９から入力
された符号化されたデータは可変長復号部２０で復号さ
れ、逆量子化部１５で逆量子化、逆ディスクリートコサ
イン変換部１６で逆デイスクリートコサイン変換が施さ
れる。逆デイスクリートコサイン変換部１６の出力の動
き予測誤差復号信号は、フレームメモリ　（１）５の動
き予測信号と和がとられ、バッファ２１に蓄えられる。

フレームメモリ（１）５では可変長復号部２０で復号さ
れた動きベクトルに従って動き予測信号を構成する。フ
レーム内挿処理部８では動きベクトルに従って９間引き
されたフレームの内挿信号を構成する。たとえば、　　
（ｘ、ｙ）の位置のブロックに対する動きベクトルが（
ｄｘ、ｄｙ）であり、１フレームの間引きが行われた場
合には。

前のフレーム上で（ｘ、ｙ）より（ｄｘ／２゜ｄ　ｙ　
／　２　）ずれたブロックと現フレーム上で（ｘ、。

ｙ）より（−ｄ　ｘ／２．　−ｄｙ／２）ずれたブロッ
クの対応する画素の平均で内挿ブロックを構成する。フ
レーム内挿処理部８の出力はバッファ２１に送られ、バ
ッファ２１では、可変長復号部２０で復号された間引き
情報より復号画像と内挿画像とを順番通りに出力端子２
２に出力する。

（５）効果の説明 以上説明したように本発明を用いれば、簡単な処理で間
引かれたフレームに対しても画品質の良い内挿画像を構
成することができる。

なお実施例では、動き評価関数値、内挿評価関数値に対
して差分の絶対値和、動き内挿関数値に対して動き評価
関数値、内挿評価関数値の和を用いた場合を説明したが
、もちろんこれ以外であってもかまわない。たとえば、
二乗和１重み付は和などを用いても良い。また、ディス
クリートコサイン変換を用いた場合について説明したが
、もちろんこれ以外であってもかまわない。

【図面の簡単な説明】

第１図は動き補償処理方式の一実施例構成、第２図はフ
レーム間符号化処理方式の符号化に関する一実施例構成
、第３図はフレーム間符号化処理方式の復号化に関する
一実施例構成を示す。 １・・・現フレーム信号入力端子、２・・・復号画信号
入力端子、３・・・間引きフレーム信号入力端子、４・
・・動き予測信号出力端子、５・・・フレームメモリ１
゜６・・・フレームメモリ２，７・・・動き予測誤差検
出部。 ８・・・フレーム内挿処理部、９・・・内挿誤差検出部
。 １０・・・動き内挿評価部、１１・・・画信号入力端子
。 １２・・・間引き処理部、１３・・・ディスクリートコ
サイン変換部、１４・・・量子化部、１５・・・逆量子
化部１６・・・逆ディスクリートコサイン変換部、１７
・・・可変長符号化部、１８・・・出力端子、１９・・
・符号化データ入力端子、２０・・・可変長復号部２２
１・・・バッファ、２２・・・出力端子。 特許出願人　日本電信電話株式会社

Claims (2)

【特許請求の範囲】
1. （１）入力画像信号のフレームまたはフィールド（以下
   「フレームまたはフィールド」を簡単のために「フレー
   ム」と称する）をあらかじめ定められたｍ×ｎ画素のブ
   ロックに分割し、個々のブロックについて、既に符号、
   復号化された時間的に前のフレームのブロックとの間で
   画像の動きまたは動きベクトルを検出する動き補償処理
   において、 現フレームの位置（ｘ、ｙ）のブロックに対して、符号
   化済みのフレーム上で（ｘ、ｙ）から（ｄｘ、ｄｙ）だ
   けずれたブロックとで動き評価関数値Ｄｍを求め、 さらに、符号化済みのフレームと現フレームとの間で間
   引かれて符号化されない（Ｎ−１）枚のフレームについ
   て、前からｊ番目の間引きフレームについては、該フレ
   ームの位置（ｘ、ｙ）のブロックに対して符号化済みの
   フレーム上で（ｘ、ｙ）から（ｄｘ×ｊ／Ｎ、ｄｙ×ｊ
   ／Ｎ）だけずれたブロックと、現フレーム上で（ｘ、ｙ
   ）から（−ｄｘ×（Ｎ−ｊ）／Ｎ、−ｄｙ×（Ｎ−ｊ）
   ／Ｎ）だけずれたブロックとを用いて、各ブロック内で
   位置的に対応する画素の平均により間引かれるフレーム
   に対する内挿ブロックを生成し、 その内挿ブロックと間引かれるフレームとから内挿評価
   関数値ＤＩｊを求め、 動きベクトルの探索範囲内で現フレームと間引かれるフ
   レームとに対する動き内挿評価関数値Ｄｔｏｔａｌが最
   小となるベクトル（ｄｘ、ｄｙ）を動きベクトルとして
   検出する ことを特徴とする動き補償処理方式。
2. （２）入力画像信号のフレームまたはフィールド（以下
   「フレームまたはフィールド」を簡単のために「フレー
   ム」と称する）をあらかじめ定められたｍ×ｎ画素のブ
   ロックに分割し、個々のブロックについて、既に符号、
   復号化された時間的に前のフレームのブロックとの間で
   画像の動きまたは動きベクトルを検出する動き補償処理
   を有し、動き予測された信号と符号化されるフレームの
   画信号との差分を符号化し、さらに、適応的、あるいは
   固定割り合いで符号化されるフレームを間引く処理を有
   するフレーム間符号化処理方式において、 現フレームの位置（ｘ、ｙ）のブロックに対して、符号
   化済みのフレーム上で（ｘ、ｙ）から（ｄｘ、ｄｙ）だ
   けずれたブロックとで動き評価関数値Ｄｍを求め、 さらに、符号化済みのフレームと現フレームとの間で間
   引かれて符号化されない（Ｎ−１）枚のフレームについ
   て、前からｊ番目の間引きフレームについては、該フレ
   ームの位置（ｘ、ｙ）のブロックに対して符号化済みの
   フレーム上で（ｘ、ｙ）から（ｄｘ×ｊ／Ｎ、ｄｙ×ｊ
   ／Ｎ）だけずれたブロックと、現フレーム上で（ｘ、ｙ
   ）から（−ｄｘ×（Ｎ−ｊ）／Ｎ、−ｄｙ×（Ｎ−ｊ）
   ／Ｎ）だけずれたブロックとを用いて、各ブロック内で
   位置的に対応する画素の平均により間引かれるフレーム
   に対する内挿ブロックを生成し、 その内挿ブロックと間引かれるフレームとから内挿評価
   関数値ＤＩｊを求め、 動きベクトルの探索範囲内で現フレームと間引かれるフ
   レームとに対する動き内挿評価関数値Ｄｔｏｔａｌが最
   小となるベクトル（ｄｘ、ｄｙ）を動きベクトルとして
   検出する動き補償を有し、受信側では、 現フレームを復号した後、間引かれたフレームに対して
   、位置（ｘ、ｙ）のブロックについては、時間的に前の
   フレーム上で（ｘ、ｙ）から（ｄｘ×ｊ／Ｎ、ｄｙ×ｊ
   ／Ｎ）だけずれたブロックと、時間的に後のフレーム上
   で（ｘ、ｙ）から（−ｄｘ×（Ｎ−ｊ）／Ｎ、−ｄｙ×
   （Ｎ−ｊ）／Ｎ）だけずれたブロックとを用いて、各ブ
   ロック内で位置的に対応する画素の平均により間引かれ
   るｊ番目のフレームに対する内挿ブロックを生成し、 その内挿ブロックによりｊ番目の内挿フレームを生成す
   るフレーム内挿処理を有する ことを特徴とするフレーム間符号化処理方式。