JPH02171092A

JPH02171092A - フレーム間符号化・復号化方式

Info

Publication number: JPH02171092A
Application number: JP63326707A
Authority: JP
Inventors: Yoshiji Nishizawa; 西沢　美次; Yuji Takenaka; 裕二竹中; Takahiro Hosokawa; 高宏細川; Yuji Mori; 裕治森; Hideki Miyasaka; 宮坂　秀樹
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1988-12-23
Filing date: 1988-12-23
Publication date: 1990-07-02

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔概要〕動き補償を行うフレーム間符号化・復号化方式被写体の
動きのに関係なく送信すべき情報量を極力削減すること
を目的とし、送信側は、入力された画像信号と動きベクトルに従って
動き補償された１フレーム前の画像信号との間でフレー
ム間符号化を行い、検出された画像差分値を伝送路へ送
出するフレーム間符号化手段と、該フレーム間符号化手
段より１フレーム前の画像信号を入力し、該１フレーム
前の画像信号と該１フレーム前の画像信号を更に１フレ
ーム遅延させた２フレーム前の画像信号とから動きベク
トルを検出し、フレーム間符号化手段に出力する動きベ
クトル検出手段を有し、受信側は、画像差分値を、動き
ベクトルに従って動き補償された１フレーム前の画像信
号と加算し、送信された画像信号を復号化するフレーム
間復号化手段と、該フレーム間復号化手段より１フレー
ム前の画像信号を入力し、該ｌフレーム前の画像信号と
該１フレーム前の画像信号を更に１フレーム遅延させた
２フレーム前の画像信号とから動きベクトルを検出し、
フレーム間復号化手段に出力する動きベクトル検出手段
を有して構成する。

〔産業上の利用分野〕

本発明は、フレーム間符号化・復号化方式に関し、特に
連続する２フレ一ム間の差分値が大きい画像信号（連続
する２フレ一ム間の被写体の動きが大きい画像信号）の
送信時又は受信時に行う動き補償に用いられる動きベク
トルの検出方法に関する。

テレビ会議等の画像のように送信しようとする画像信号
の被写体の動きが小さい場合には連続する２フレ一ム間
の差分値を送受信するフレーム間符号化・フレーム間復
号化が通常用いられる。しかし、被写体が大きく動いて
いる場合には連続する２フレ一ム間の差分値を検出して
も、１フレーム前の被写体と新しく入力されたフレーム
の被写体の重なる部分が少なくなり送信すべき差分値の
情報量が多くなってしまう、しかし、１フレーム前に入
力された画像信号も新しく入力された画像信号も被写体
だけに関しては、差が少ない、よって、１フレーム前の
画像信号の被写体と新しく入力された画像信号の被写体
を重ね合わせるために被写体の動きを示す動きベクトル
を検出し、この動きベクトルに従って予測信号の動き補
償を行い送信すべき差分値の情報量を削減するのに適し
たフレーム間符号化・復号化方式が望まれている。

〔従来の技術〕

従来のフレーム間符号化・復号化装置を第６図に示し、
第７図に動き検出に用いられるフレームを示している。

符号化部（送信側）を第６図（ａ）に従って説明する。

まず、入力画像信号は減算器５１及び動き検出器５６に
入力される。減算器５１では入力された入力画像信号と
予測信号との差分値を検出し、量子化器５２を介して伝
−送路へ送出するとともに、加算器５３に出力している
。加算器５３では入力された差分値と予測信号とを加算
することにより入力された画像信号を再生し、フレーム
メモリ５４に出力している。フレームメモリ５４では入
力された画像信号を１フレーム遅延させた後、動き補償
器５５及び動き検出器５６に画像信号を出力している。

まず、動き検出器５６では第７図（ａ）に示すように、
入力画像信号と１フレーム前の画像信号とを比較して被
写体の動きベクトルを作成している。この動きベクトル
は復号化部（受信側）においては復号化するための予測
信号の作成に用いられるため、第７図（ｂ）に示すよう
に１フレーム前の画像信号と入力されている差分値から
ではもとめることができない。

よって、ここで求められた動きベクトルは、該動き補償
器５５及び伝送路を介し復号化部に送出される。動き補
償器ではフレームメモリ５４から入力された１フレーム
前の画像信号を動き検出器５６より入力した動きベクト
ル信号に従って動き補償し、予測信号として減算器５１
及び加算器５３に出力している。

復号化部（受信側）を第６図（ｂ）に従って説明する。

まず、伝送路より該差分値と動きベクトル信号を入力し
、咳差分値は加算器６１に、動きベクトル信号は動き補
償器６３に出力さる。減算器６１では入力された差分値
に予測信号を加算することにより送信された画像信号を
再生し出力するとともに、フレームメモリ６２に出力し
ている。フレームメモリ６２では入力された画像信号を
１フレーム遅延させ動き補償器６３に出力している。動
き補償器６３では、伝送路より入力された動きベクトル
信号にしたがってフレームメモリ３２より入力された画
像信号を動き補償し、符号化部で用いられた予測信号と
同じ予測信号を作成して加算器６１に出力している。

〔発明が解決しようとする課題〕

上記のように従来のフレーム間符号化・復号化装置では
、符号化部（送信側）に入力された画像信号と予測信′
号との差分値を送信するのみでなく、予測信号を作成す
るために用いられた動きベクトルも送信する必要があり
、画像信号の被写体が複雑な動きをした場合や動きが大
きな場合、送信すべき差分値と動きベクトル信号の合計
の情報量が増加してしまうという問題点がある。

よって、被写体の動きのに関係なく送信すべき情報量を
極力削減することを目的としている。

〔課題を解決するための手段〕

第１図に本発明の原理図を示す。

符号化部（送信側）を第１図（ａ）にて説明する。

まず画像信号がフレーム間符号化手段１に入力される。

フレーム間符号化手段１では入力される画像信号の予測
信号を作成するため、１フレーム遅延させた画像信号を
動きベクトル検出手段２に出力している。動きベクトル
検出手段２では入力された１フレーム遅延された画像信
号と、更に１フレーム遅延させた２フレーム前の画像信
号から、被写体の動きを示す動きベクトルを検出し、フ
レーム間符号化手段１に出力している。フレーム間符号
化手段１では動きベクトル検出手段２より入力された動
きベクトルにしたがって予測信号を作成し、入力画像信
号と該予測信号との差分値を検出して伝送路を介し復号
化部に送出している。

復号化部（受信側）を第１図（ｂ）にて説明する。

まず該差分値が伝送路を介し、フレーム間復号化手段３
に入力される。フレーム間復号化手段３では入力された
該差分値を復号化するためフレーム間符号化手段１で用
いられた予測信号と同じ予測信号を作成するため、１フ
レーム遅延させた画像信号を動きベクトル検出手段４に
出力している。

動きベクトル検出手段４では入力された１フレーム遅延
された画像信号と、更に１フレーム遅延させた２フレー
ム前の画像信号から、被写体の動きを示す動きベクトル
を検出し、フレーム間復号化手段３に出力している。フ
レーム間復号化手段３では動きベクトル検出手段４より
入力された動きベクトルにしたがい１フレーム前の画像
信号を動き補償し、予測信号を作成して該伝送路より入
力された差分値゛に加算することにより送信された画像
信号を再生し出力している。

〔作用〕

動画像の動きの相関性を利用し、１フレーム前の画像信
号と２フレーム前の画像信号とから現画像信号と１フレ
ーム前の画像信号間の動きベクトルを予測するようにし
たため、符号化部と復号化部で同じ動きベクトルを検出
することが可能となった。

〔実施例〕

以下図面に示す実施例に基いて詳細に説明する。

第１図のフレーム間符号化手段１は第２図の減算器１１
．量子化器１２．加算器１３．フレームメモリ１４、動
き補償器１５から構成される部分に対応し、第１図の動
きベクトル検出手段２は第２図のフレームメモリ２１．
動き検出器２２から構成される部分に対応し、第１図の
フレーム間復号化手段３は第２図の加算器３１．フレー
ムメモリ３２．動き補償器３３から構成される部分に対
応し、第１図の動きベクトル検出手段４は第２図のフレ
ームメモリ４１゜動き検出器４２から構成される部分に
対応している。

第３図は、本発明の動き検出器の１例を示した図、第４
図は、動き検出に用いられるフレームを示した図、第５
図は動き検出の説明図である。

図に於いて、符号化部（送信側）を第２図（ａ）を用い
て説明する。まず画像信号が減算器１１に入力される。

減算器１１では入力された画像信号と予測信号との差分
値を検出し、量子化器１２を介して伝送路に送出すると
ともに加算器１３にも出力している。

加算器１３では入力された差分値を予測信号と加算し、
送信しようとする画像信号を再生しフレームメモリ１４
に送出している。

フレームメモリ１４では入力された再生画像信号を１フ
レーム遅延させ動き補償器１５及びフレームメモリ２１
．動き検出器２２に出力している。

まずフレームメモリ２１では入力された１フレーム前の
画像信号を更に１フレーム遅延させ２フレーム前の画像
槽号として動き検出器２２に出力している。

動き検出器２２では第４図に示すように１フレーム前の
画像信号と２フレーム前の画像信号から、該両フレーム
間の被写体の動きの大きさ及び方向を検出し、動きベク
トルとして動き補償器１５に出力している。

動き検出器２２の動作の一例を第３図及び第５図を用い
て説明する。まず、第３図に於いて１フレーム前の画像
信号と２フレーム前の画像信号が、減算器２２１に入力
される。減算器２２１では入力された画像信号を縦横８
ビツトのブロック単位に分割し、１フレーム前のあるブ
ロックと２フレーム前の該ブロックと同位置及び該プッ
ロクの周囲のブロックと差分をとり絶対値変換器２２２
に出力している。絶対値変換器２２２では入力した差分
値を実体的な量である絶対値に変換して累積器２２３に
出力している。累積器２２３では各ブロック毎に差分値
を累積し、メモリ２２４に出力している。メモリ２２４
では順次入力される各ブロック間に対応した差分値をそ
れぞれ異なるアドレスに記憶する。

例えば、比較対象のブロックが周囲１ブロツクのとき比
較対象のブロックは９つである。メモリ２２４に記憶さ
れた各ブロック間の差分値の量は動きベクトル発生器２
２５に出力され最も差分値の小さいブロック間に移動が
あったことを認め、該ブロック間の移動対して動きベク
トルを作成する。

即ち、第５図（ａ）の図中に示す１フレーム前のブロッ
クＡと第５図（ｂ）の図中に示すブロックａ、ｂ。

ｃ、ｅ、ｆ、、ｇ、ｉ、ｊ、にとの差分をとり最も差分
値の小さくなったところに該ブロックＡが動いたという
ことを検出する。

動き補償器１５ではフレームメモリ１４より入力された
１フレーム前の画像信号を動き検出器２２より入力した
動きベクトルに従って動き補償し、予測信号として、減
算器１１及び加算器１３に出力している。

復号化部（受信側）を第２図い）を用いて説明する。ま
ず加算器３１では伝送路より差分値を入力している。

加算器３１では入力された差分値に予測信号を加算する
ことにより送信された画像信号を再生し、出力するとと
もにフレームメモリ３２へ出力している。

フレームメモリ３２では入力された画像信号を１フレー
ム遅延させ動き検出器３３及びフレームメモｌ７４１．
動き検出器４２へ出力している。

フレームメモリ４１では入力された画像信号を更に１フ
レーム遅延させ、２フレーム前の画像信号として動き検
出器４２へ出力している。

動き検出器４２では、１フレーム前の画像信号と２フレ
ーム前の画像信号を入力し、上記動き検出器２２同様の
処理を行ない縦横８ビツトのブロック毎に動きベクトル
を作成し、動き検出器３３に出力している。

動き補償器３３では、フレームメモリ３２から入力した
１フレーム前の画像信号を動きベクトルに従って動き補
償し、予測信号して加算器３１に出力している。

〔効果〕

以上のように本発明によれば、動き検出に用いるフレー
ムを１フレーム前及び２フレーム前とすることにより、
符号化部と復号化部で、同じ動きベクトルが検出可能と
なるため、符号化部からの送信信号は差分値のみでよい
ことになり、特に動きの大きい画像信号を送信する場合
に、送信すべき情報量の削減という点で有効である。

第１図は本発明の原理図、第２図は本発明の一実施例を示す図、第３図は本発明の動き検出器の一例、第４図は動き検出に用いられるフレームを示した図、第５図は動き検出の説明図、第６図は従来のフレーム間符号化・復号化装置、第７図
は動き検出に用いられるフレームを示した図、図に於いて、１・・・フレー１．簡符号化手段２・・・動きベクトル検出手段３・・・フレーム復号化化手段４・・・動きベクトル検出手段・１１・・・減算器　　　　　　１２・・・量子化器１
３・・・加算器　　　　　　１４・・・フレームメモリ
１５・・・動き補償器２１・・・フレームメモリ３１・・・加算器３３・・・動き補償器４１・・・フレームメモリ５１・・・減算器５３・・・加算器５５・・・動き補償器６１・・・加算器６３・・・動き検出器２２１・・・減算器　　　　　２２２・・・絶対値変換
器２２３・・・累積器　　　　　２２４・・・メモリ２
２５・・・動きベクトル発生器４２・・・動き検出器５２・・・量子化器５４・・・フレームメモリ５６・・・動き検出器６２・・・フレームメモリ２２・・・動き検出器３２・・・フレームメモリ第図招牛図勧９ト）

Claims

【特許請求の範囲】１、入力された画像信号と１フレーム前の画像信号を動
き補償した予測信号との差分値を検出して送信すること
により、送信すべき情報量を削減するフレーム間符号化
方式に於いて、該入力された画像信号と動きベクトルに従って動き補償
された１フレーム前の画像信号との間でフレーム間符号
化を行い、検出された画像差分値を伝送路へ送出するフ
レーム間符号化手段（１）と、該フレーム間符号化手段
（１）より１フレーム前の画像信号を入力し、該１フレ
ーム前の画像信号と該１フレーム前の画像信号を更に１
フレーム遅延させた２フレーム前の画像信号とから動き
ベクトルを検出し、フレーム間符号化手段（１）に出力
する動きベクトル検出手段（２）を有することを特徴と
するフレーム間符号化・復号化方式。２、伝送路より画像差分値を入力し、該画像差分値と動
きベクトルに従って動き補償された１フレーム前の画像
信号を加算する事により送信された画像信号を復号化す
るフレーム間復号化方式に於いて、該画像差分値を、動きベクトルに従って動き補償された
１フレーム前の画像信号と加算し、送信された画像信号
を復号化するフレーム間復号化手段（３）と、該フレーム間復号化手段（３）より１フレーム前の画像
信号を入力し、該１フレーム前の画像信号と該１フレー
ム前の画像信号を更に１フレーム遅延させた２フレーム
前の画像信号とから動きベクトルを検出し、フレーム間
復号化手段（３）に出力する動きベクトル検出手段（４
）を有することを特徴とする請求項１記載のフレーム間
符号化・復号化方式。３、請求項１記載の符号化方式で符号化し、伝送路に送
出された差分値を、請求項２記載の復号化方式で受信し
、復号化することを特徴とする請求項１または２に記載
のフレーム間符号化・復号化方式。