JP2603963B2

JP2603963B2 - 動画像符号化装置

Info

Publication number: JP2603963B2
Application number: JP22532187A
Authority: JP
Inventors: クロンクマイケル
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1987-09-10
Filing date: 1987-09-10
Publication date: 1997-04-23
Anticipated expiration: 2012-04-23
Also published as: JPS6469179A

Description

【発明の詳細な説明】［発明の目的］（産業上の利用分野）この発明はTV会議システム、TV電話等の動画像コーデ
ックに用いられる動画像符号化装置に関する。

（従来の技術）従来より、TV会議システムやTV電話等が盛んに開発さ
れているが、特に動画像を低ビットレートで符号化し伝
送する方式が盛んに研究されている。このような低ビッ
トレートの動画像符号化において必須となる技術は動き
補償に関する技術であり、その中で特に「ブロックマッ
チング法」が有効的であると種々報告されている。

このブロックマッチング法は、フレーム間の差分に基
づいた評価関数を最小とする動ベクトルをブロックの動
ベクトルと判断するというものであり、符号化において
良好な特性を示す。

しかしながらこのブロックマッチング法で最も問題と
なるのは候補となるベクトルの数を増せば増すほど良い
動ベクトル（即ち、小さい評価関数値を与えるベクト
ル）を見つける確率が上がるが、それに伴い、各候補ベ
クトルの評価関数値を遂一計算しなければならないので
演算量が増大してしまう。（例えば或る範囲内、全ての
ベクトルの評価関数値を計算する全探索という方式を用
いると比較的小さい動きだけしか求めることができず、
更に計算量の上からもそれが実現しにくい。）そこで従来はこの問題を解決するため、次の二つの方
式が用いらていた。第１には第13図に示すような三段木
探索（トリーサーチ）方式と呼ばれるものである。先ず
４画素だけ離れた９つの比較的粗い初期ベクトル（（4,
0），（4,−４）…，（−4,4））を用い、演算部1303で
それらの評価関数を求める。その関数を計算するにはブ
ロック分割器1301でブロック分割された現ブロックと前
フレーム．メモリー1302からのデータが用いられる。初
期ベクトルの内で評価関数を最小とするベクトルが第１
段階のベクトル_１とされ、ベクトル偏位部1304で第14
図に示すようにベクトル_１から２画素だけ離れたベク
トルが作られ、それらの内から評価関数を最小とするベ
クトルが第二段階のベクトル_２と設定される。最後に
このベクトル_２から１画素だけ離れたベクトルがベク
トル偏位部1306で作られ、演算部1307で演算部1305、演
算部1303と同じよう、に最終ベクトル_outが求められ
るというものである。

この方式では前探索方式に比べ計算量が減るものの木
探索方式でも全探索方式でもそれらの探索範囲はハード
ウェア実現の上で拘束されてしまい、動きがその範囲よ
り大きい場合には特性が劣化してしまうという欠点があ
る。特に低ビット．レートの符号化を行なう場合入力画
像の駒落しを行なうため、フレーム間の動きが大きくな
る。このため、この動きに追従させるためには初期ベク
トルの画素ブロックの範囲（探索範囲）を広めないと動
ベクトルによるフレーム間予測が悪くなってしまう。こ
のように情報量や演算量を増やすことは非常に重大な問
題になる。

第２の従来の方式を第15図に示す。この方式は、上記
した方式とほぼ同じである。ただ、上記方式では初期ベ
クトルを固定した４画素分だけ離れたベクトルを用いて
いたがこの方式では既に求められたベクトル_outを遅
延器1508で遅延したベクトル（ａ）〜（ｈ）を初期ベク
トルとして設定される。

この方式は隣りのブロックとの動ベクトルの相関が高
く、更に既に求められたベクトルを利用するので初期ベ
クトルの大きさは制限されず、探索範囲に拘束はない。
このため、木探索方式により同じ演算量で性能が良いが
前のフレームで求めたベクトルを初期ベクトルとして使
うため、そのベクトルを記憶するメモリが必要となり、
ハードウェア量がかなり増加するという欠点がある。前
のフレームで求めたベクトルを用いず、現在のフレーム
のベクトルしか用いないことも考えられるがそうすると
性能が悪くなり、前のフレームのベクトルを用いた手段
と同じ性能で木探索方式ほどハードウェア量を軽減する
ことがこの方式ではできない。特に実際のビデオ．コー
デックを作る時これが重大な問題となる。

（発明が解決しようとする問題点）このような従来は動画像符号化におけるブロック・マ
ッチング動き補償に際して、固定した範囲に限られた初
期ベクトルを用いるため動きがよい大きい場合フレーム
間予測誤差が増大するという問題点がある。又、予め求
められたベクトルを初期ベクトルとして用いるとフレー
ム間予測能力が上がるハードウェア量が増えるという問
題点がある。

本発明はこの二つの欠点を改善し、固定した範囲に限
られることなく、またハードウェア量も少なく、特に画
質劣化に影響する大きい動きでの改善の大きいい適応的
なより良い動ベクトルを求めることを可能とすることを
目的とする。

［発明の構成］（問題点を解決するための手段）本発明は、入力された画像信号を画面毎に駒落としす
る手段と、駒落としされなかった入力画面を複数のブロ
ックに分割する手段と、ブロック分割された入力画像と
過去に符号化された画像とのブロックマッチング法によ
り動きベクトルを検出する手段と、検出された動きベク
トルで指定される参照画像と入力画像との誤差情報を符
号化する手段とを具備する動画像符号化装置において、前記動きベクトル検出手段は、動きベクトル検出を行
うべきブロックの周囲のブロックについて過去に求めら
れた動きベクトル、放射状に固定的に配置された複数の
動きベクトル、及び前記駒落としされた画面の数に応じ
てこれらの動きベクトルの振幅を比例係数倍した動きベ
クトルを候補として動きベクトル検出することを特徴と
する。

（作用）このように本発明では初期ベクトルとして、符号化の
過程で求められた現在のフレームからのベクトルだけを
用いても予め定められたベクトルも用いているため、少
ないハードウェア量で動き補償予測誤差の小さい動き量
検出方式を動画像符号化に適用することが可能となる。

（実施例）以下に本発明の実施例を図面を参照して詳述する。

まず、本発明の実施例が適用される送信側のブロック
図である。入力される画像信号（現フレーム）は、ブロ
ック分割器101でブロック毎に分割され、演算回路102に
入力される。この演算回路102において、上記各ブロッ
クはブロック毎に、フレームメモリ113からの過去のフ
レームと比較され、フレーム間の差分が有意ブロックと
して出力される。この有意ブロックは、減算器105、動
き検出器103に各々入力される。

動き検出器103については後段で詳しく述べるが、こ
の動き検出器103において有意ブロックのベクトルのみ
が検出され、検出されたベクトルは一方が多重化器109
に他方が可変遅延器に各々入力される。可変遅延器104
においては、動き検出器103で検出された動きベクトル
を基に、この動きベクトルで指定されるブロックが、フ
レームメモリ113内から抽出され、このブロックが減算
器105及び加算器112に各々入力される。

減算器105においては、可変遅延器104で求められるブ
ロックと、演算回路102からの現在のブロックとの差分
が取られ、この差分が直交変換（例えば離散コサイン変
換）回路106において直交変換される。さらにこの（変
換された信号の評価により判定器107において動き補償
後の有意ブロックが判定され、この判定器107で判定さ
れた有意ブロックのみが量子化器108で量子化される。
そして、この量子化された予測誤差信号と共に、上記し
た演算回路102及び判定器107からの判定情報と、動き検
出器103からの動ベクトル情報が多重化器109で多重化さ
れ、図示しない受信側へ伝送される。

又同時に、量子化器108からの予測誤差信号が逆量子
化器110で逆量子化され、逆直交変換回路111において逆
変換される。この逆変換された信号と、可変遅延器104
からのブロックとが加算器112において加算され現在の
ブロックが再生される。この再生された現在のブロック
がフレームメモリ113に格納されるというものである。
尚、これらの処理は１ブロック毎に順次行われる。

次に、本実施例の特徴部分である動き検出器について
説明する。まず上記した演算回路からの現在のブロック
と、フレームメモリからの前のフレームとが各々演算部
201〜205に入力される。そしてまず、演算部201におい
て、予め設定しておいた５つの初期ベクトル（例えば
（−20,0），（20,0），（0,−20）（0,20），（0,
0））と符号化の過程で求められる第３図に示す如くの
３つのベクトル（（ａ），（ｂ），（ｃ））とを用いフ
レーム間差分評価関数値が求められる。

通常この評価関数値の求め方はブロック．マッチング
法と呼ばれるもので求められるもので動ベクトルによる
フレーム間差分に基づいた評価関数を最小とする動ベク
トルをブロック毎にそのブロックの動ベクトルと判断す
るものである。つまり、今空間を＝（x,y），時間を
t,ある一つの画素の輝度をｉ（,t），動ベクトルを
＝（v_x,v_y）で現わすと動ベクトルによるフレーム間差
分は Fd（，）＝ｉ（,t）−ｉ（−,t−τ）の式で現わせる。これに基づいて、次の３つの評価関数
が利用される。

1.動ベクトルによるフレーム間差分二乗の和 2.動ベルトルによるフレーム間差分絶対値の和 3.動ベクトルによるフレーム間差分の閾値関数の和従って、一つのブロックの動ベクトルを求める際色々
な動ベクトル（候補ベクトル）で一つの評価関数をベク
トル毎に計算し、その最小値を与えるベクトルをそのブ
ロックの動ベクトルとするというものである。

すなわち、８つのベクトルの内、演算部201において
評価関数を最小とする初期ベクトルがにより求められる。今この求められたベクトルを_１と
すると、このベクトル_１をさらに初期ベクトルとし
て、ベクトル偏位器202において_１から２画素だけ離
れたベクトルを求め、これらの内演算部203においてそ
の評価関数を最小とするベクトルを求める。そして、さ
らに求められたベクトルを初期ベクトル_２としてベク
トル偏位器204において、１画素だけ離れたベクトルを
求め、これらの内、評価関数を最小にするベクトル
_outを求める。そしてこのベクトル_outを現在のブロッ
クの動ベクトルとし、このベクトル_outを上記した可
変遅延器等へ出力するのである。

又、求められたこのベクトル_outが次のブロックの
初期ベクトルになるためメモリ206で遅延され演算部201
へ出力される。ベクトル偏位器202から演算部205の出力
までは２段階木探索を行なっている。尚、演算部201、
演算部203、演算部205の評価関数としてフレーム間差分
絶対値の和を用いたが以前に説明したフレーム間差分二
乗の和も閾値を用いた関数の和も使用可能である。さら
に初期ベクトルの数と予め定められたベクトルの値を変
えることも可能である。

次に第２の実施例について述べる。

第４図は本発明の第２の実施例の送信側のブロック図
である。これは第１の実施例と別の符号化であり、離散
コサイン変換（DCT）は行われないが、空間フィルター
が入っている構成である。この構成ではDCTが行なわれ
ないため、ハードウェア量が少ないことと空間フィルタ
ーにより予測能力がフィルターがない場合より向上する
こととが特有の効果である。

入力信号が駒落し器401で駒落しされ、第１の実施例
のようにブロック分割器402で現フレームがブロック毎
に分割され、演算回路403で有意ブロックが判定され、
有意ブロックのみが動き量検出器404で求められる。第
２図で説明した方式と以下の実施例で説明した方式はど
れもこの実施例の動き量検出方式として用いることがで
きる。

動ベクトルが求められてから、第１の実施例と同様に
可変遅延器405で一つのブロックがフレーム．メモリ413
から抽出され、そのブロックと現在のブロックの差分が
減算器406で取られる。DCTを行なわれないで演算回路40
7で動き補償後の有意ブロックの判定が行なわれ、動き
補償後の有意ブロックのみが量子化器408で量子化さ
れ、その量子化されたデータと判定情報と動ベクトルを
多重化回路409で多重化し、受信側へ伝送する。

局部復合器内では逆量子化器410で逆量子化が行なわ
れ、現ブロックが加算器411で再生され、フィルター回
路412でフィルターされ、フレーム．メモリ413に格納さ
れる。第１の実施例と同様にこれらの処理は１ブロック
毎に順次に行なわれる。

第３の実施例について述べる。

第５図は本発明の第３の実施例の送信側のブロック図
である。これは動き量検出が以上で説明した実施例と同
様に輝度面で行なわれるが、動きベクトルによる予測は
変換面で行なわれる構成である。この構成ではDCT符号
化に動き補償回路をオップションとして簡単に追加でき
る点に特有の効果がある。

第２実施例と同様に駒落し器501で入力信号が駒落し
され、ブロック分割器502でブロックに分割される。動
き量検出器505で各ブロックの動ベクトルが求められ、
可変遅延器506によりそのベクトルで指定されるブロッ
クがフレーム．メモリ513から逆DCT回路514を通して抽
出され、またDCT回路507で変換される。そのブロックと
DCT回路503で変換され、演算回路504で有意と判定され
た現在のブロックとの差分が変換面では減算器508で取
られる。演算回路509で動き補償後有意と判定されたブ
ロックのみが量子化される。そのデータと判定情報と動
ベクトルをそれぞれ可変長符号511で符号化し、受信側
へ伝送する。

局部復合器内では逆量子化器512で逆量子化が行なわ
れた後、加算器515で現ブロックが変換面で再生され、
フレーム．メモリ513に格納される。これらの処理は１
ブロック毎に順次行なわれる。尚、動き量検出器505の
動き量検出システムとして第２図で説明したシステムも
次の実施例で説明したシステムも適用可能である。

第４の実施例について述べる。

第６図は本発明の第４の実施例の用いられる動き量検
出システムの図である。第１図、第４図、第５図の動き
量検出器103、404、505に第２図の中の動き量検出シス
テムではなく、これを適用すると第４の実施例となる。
予め定められる初期ベクトルとして固定したベクトルで
はなく、コーデックのパラメター情報と動ベクトル情報
を利用し、ブロック毎に適応的に決められたベクトルを
用いることにより、より性能の良いシステムが可能とな
ることはこの実施例の特有の効果である。

第６図は初期ベクトル予測器607以外第２図と同じで
あるため、ここで初期ベクトル予測器607を第７図に示
し、詳しく説明する。コーデックの駒落しのレートを現
わす入力パラメーターｃが乗算器701で係数αにかけら
れ、それを５つの単位ベクトルにベクトル／スカラー乗
算器702〜706でかけることにより駒落しに比例する（従
って、入力動画像の動きに比例する）初期ベクトルを作
ることが可能となる。さらに演算部707ではベクトルの
区別を行なう。つまり、駒落しに比例するベクトルと既
に求められたベクトル（_a,_b,_ｂ）を比較し、同じ
ベクトルや距離的に近いベクトルがある時はその内一つ
を他の初期ベクトルと異なるベクトルとする。尚かけ算
器の比例ベクトル方式だけあるいはベクトルを区別させ
る方式だけを別に採用することも可能である。さらにそ
の予め定められた初期ベクトルを定めるには駒落し情
報、ベクトル情報以外の情報、例えば予測誤差情報、有
意ブロック判定情報等を用いることも可能である。

第６図の初期ベクトル予測器607で決められたベクト
ルを演算部601に入力し、第２図と同様処理を行なう。

第５の実施例について述べる。

第８図は本発明の第５の実施例に用いられる動き量検
出システムの図である。第１図、第４図、第５図の動き
量検出器103、404、505にこれを適用すると第５の実施
例となる。初期ベクトルの内符号化の過程で既に求めら
れたベクトルの数を増すことにより予測能力を向上させ
ることがこの実施例の特有の効果である。

これはメモリ806以外第６図と同じである。第９図に
メモリ806で遅延されたベクトルのと現ブロックとの位
置を示す。このようにベクトル（ａ）〜（ｏ）がメモリ
806で遅延され、演算部801に入力され、以外の処理が第
４図の実施例と同様に行なわれる。

第６の実施例について述べる。

第10図は本発明の第６の実施例に用いられる動き量検
出システムの図である。第１図、第４図、第５図の動き
量検出器103、404、505にこれを適用すると第６の実施
例となる。初期ベクトルの数を減らすことと三段階では
なく、二段階しか用いないこととにより、ハードウェア
量が非常に小さくなることが可能となる。

演算部1001で２つの初期ベクトルによるフレーム間差
分評価関数値が求められる。初期ベクトルとして予め定
められたベクトル（o,o）と前のブロックとベクトル
（第３図の（ａ））を用いる。その二つの内、演算部10
01での評価関数を最小とするベクトルを_１とし、ベク
トル偏位器1002に入力する。そこで２画素だけ離れたベ
クトルが作られ、それらの内演算部1003での評価関数を
最小とするベクトルを現在のブロックのベクトル、
_outとする。メモリ1004でそのベクトルが次のブロック
のために遅延される。

第７の実施例について述べる。

第11図は本発明の第７の実施例に用いられる動き量検
出システムの図である。第１図、第４図、第５図の動き
量検出器103、404、505にこれを適用すると第７の実施
例となる。本発明は本探索方式だけに適用できるもので
はないことを示すものはこの実施例である。つまりこの
例では最良の初期ベクトルが選ばれてから全探索方式を
用いて、ベクトルを求める。

初期ベクトル予測器1101で第４の実施例の初期ベクト
ル予測器607と同様に５つの初期ベクトルがブロック毎
に予め定められている。メモリ1105で遅延されたベクト
ル（ａ）〜（ｄ）も初期ベクトルとして用いられる。そ
れを第３図に示す。初期ベクトルの内、演算部1102の評
価関数を最小とするベクトルが_１とされ、全探索ベク
トル偏位器103に入力され、そこで_１の廻り（2N＋
１）ベクトルが作られる。Ｎは全探索ベクトル偏位器11
03の入力パラメーターであり、それによりその探索範囲
が決められる。_１＝（−10,10）、Ｎ＝３の探索範囲
を第12図に示す。この（2N＋１）ベクトルの内、演算部
1104での評価関数を最小とするベクトルを現在のブロッ
クのベクトル、_outとする。

［発明の効果］以上説明したように本発明によれば、動き補償を行な
う際に初期ベクトルとして動きに応じて適応的に変化す
ることができる予め定められた動ベクトルの符号化の過
程で既に求められる動ベクトルの両方を用いることによ
って、ハードウェア量の少ない規模で従来方式より性能
が良い方式が可能となる。そのため動き補償技術を応用
することもより簡単にできるようになる。

【図面の簡単な説明】

第１図は本発明の第１の実施例の送信側を示したブロッ
ク図、第２図は第１の実施例の動き量検出器103の一例
を示した図、第３図は本発明で用いた初期ベクトルの一
部の一例を示した図、第４図は本発明の第２の実施例の
送信側を示したブロック図、第５図は本発明の第３の実
施例の送信側を示したブロック図、第６図は第４の実施
例に用いられる動き量検出システムを示した図、第７図
は第６図における初期ベクトル予測器を詳しく示した
図、第８図は第５の実施例に用いられる動き量検出シス
テムを示した図、第９図は第８図の動き量検出システム
に用いられている遅延された初期ベクトルの位置を示し
た図、第10図は第６の実施例に用いられる動き量検出シ
ステムを示した図、第11図は第７の実施例に用いられる
動き量検出システムを示した図、第12図は第11図の動き
量検出システムに用いられる全探索方式の一例を示した
図、第13図は従来の三段階木探索動き量検出方式を示し
た図、第14図は第13図に示した方式の中のベクトル偏位
器を詳しく示した図、第15図は既に求められたベクトル
を用いた従来の動き量検出方式を示した図である。 101,402,502,1301,1501……ブロック分割器、102,107,4
03,407,504,509……ブロック判定の演算回路、103,404,
505……動き量検出器、104,405,506……可変遅延器、10
5,406,508……減算器、106,503,507……離散コサイン変
換（DCT）、108,408,510……量子化器、110,410,512…
…逆量子化器、111,514……逆離コサイン変換（IDC
T）、112,411,515,1401〜1408……加算器、113,413,51
3,1302,1502……フレーム．メモリ、201,203,205,601,6
03,605,801,803,805,1001,1003,1102,1104,1303,1305,1
307,1503,1505,1507……動ベクトルによる評価関数の演
算部、202,204,602,604,802,804,1002,1304,1306,1504,
1506……ベクトル偏位器、206,606,806,1004,1105,1508
……遅延のメモリ、412……空間フィルター、401,501…
…駒落し器、511……可変長符号化、607,807,1101……
初期ベクトル予測器、701〜706……乗算器、707……ベ
クトル区別器、1103……全探索ベクトル偏位器。

Claims

(57)【特許請求の範囲】

【請求項１】入力された画像信号を画面毎に駒落としす
る手段と、駒落としされなかった入力画面を複数のブロ
ックに分割する手段と、ブロック分割された入力画像と
過去に符号化された画像とのブロックマッチング法によ
り動きベクトルを検出する手段と、検出された動きベク
トルで指定される参照画像と入力画像との誤差情報を符
号化する手段とを具備する動画像符号化装置において、前記動きベクトル検出手段は、動きベクトル検出を行う
べきブロックの周囲のブロックについて過去に求められ
た動きベクトル、放射状に固定的に配置された複数の動
きベクトル、及び前記駒落としされた画面の数に応じて
これらの動きベクトルの振幅を比例係数倍した動きベク
トルを候補として動きベクトル検出することを特徴とす
る動画像符号化装置。