JPH02214283A - 動きベクトル検出装置及び検出方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明はディジタル信号の信号処理を行なう記録、伝送
機器、その他の表示装置などの各種機器において、動画
像信号をより少ない符号量で効率的に符号化する高能率
符号化方式のうち、特に動き補償符号化方式に関する。

（従来の技術） 連続して入力される動画像信号をより少ない符号量で符
号化する高能率符号化方式のうち、画像信号のフレーム
間の相関を利用する符号化方式としてフレーム閤予測符
号化がある。

これは通常の動画像が各フレーム間でかなり似ているの
で、符号化の済んだ前のフレームの信号から符号化しよ
うとするフレームの信号を予測して、予ｍ＊差（残差）
のみを符号化するものである。

しかし、前フレームの同一画素からの予測では、画像が
動いていると予測誤差（残差）が大きくなり、符号化効
率が低下する。そこで、画像の動きに合わせて予測に使
う前フレームの２次元空間位置を移動（シフト）してフ
レーム間予測する、動き補償（補正）符号化が提案され
ている。

この動き補償符号化の例を第２図に示すが、動き補償を
行なわない予測符号化器の構成に対して、動きベクトル
検出器１２０位置シフタ１１及び動ぎベクトルの可変長
符号化１５ｉ１３が追加されている。

く予測符号化処理〉 第２図において、画像信号入力端子１より連続して入力
された動画像信号は、予測信号減算器２において予測信
＠（予１ｍ１）が減算され、その予測誤差（残差）につ
いて符号化される。なお、予測信号の形成方法について
は後述する。

ここで、予ｍ＊差（残差）はそのまま量子化しても良い
が、より高い符号化効率を得るために直交変換器３によ
り離散コサイン変換（ＯＣＴ）などで直交変換された後
に量子化器４により量子化されるのが一般的になってい
る。量子化された信号は、その分布がＯ（ゼロ）近辺に
集中するので、可変長符号化器５によりハフマン符号な
どの可変長符号に変換され、可変長ディジタルデータと
してデータ出力端子６より出力され、記録あるいは伝送
される。

復号器側においては、可変長ディジタルデータは、元の
固定長のデータに変換され、逆量子化器により代表値に
置き換えられ（代表値設定）、さらに直交変換の逆変換
処理が行なわれる。この信号は、予測誤差（残差）であ
るので、予測信号と加算して再生画像信号を得る。

一方、符号化器での予測信号は復号器側と同一の信号を
得る必要があり、量子化された信号より作られる。その
ために、第２図の符号化器では、量子化された信号は、
上記の復号器と同様に逆量子化器７により代表値に置き
換えられ（代表値設定）、さらに直交逆変換器８により
直交変換の逆変換処理が行なわれる。

このようにして得られた信号は、復号された予測誤差（
残差）に相当するので、これに１フレーム前の予測信号
が加輝器９で加算されて復号された画像信号となる。さ
らに、この信号はフレームメモリ１０により１フレ一ム
分だけ遅延され、位相シフタ１１により動きに応じた量
だけ２次元空間上で位置を移動させられ、予測信号とな
る。

く動き補償予測処理〉 位相シフタ１１で画像を動かす量、すなわち動きベクト
ルは、動ぎベクトル検出器１２によって与えられる。

動きベクトル検出の方法は、各種の方法が提案されてい
るが、最も一般的なのがブロックマツチングによる方法
である。これは画像を８×８ないし１６ｘ　１Ｇ程度の
ブロックに区切り、その単位で一つの動きベクトルを求
めるものである。例えば、１（画素／フレーム）おぎに
＋３（画素／フレーム）から−３（画素／フレーム）程
度の範囲で２次元的に動きベクトルを設定しておき、予
測に使う画像をそのベクトル分だけ動かしてブロックの
平均二乗誤差を求める。そして、設定した全てのベクト
ルに対して誤差を求め、最も−ｍｌ！の少ないベクトル
を動きベクトルとして選ぶ。選ばれた動きベクトルは、
その値の分布が０（ゼロ）付近に集中しているので、可
変長符号化器１３でハフマン符号などの可変長符号に変
換され、動きベクトルデータ出力端子１４より出力され
る。一方、復号側ではこの動きベクトルによって符号化
系と同様に予測画像の位置シフトを行なう。

この手法は考え方は単純であるが、各ベクトルごとに誤
差を求めるので処理量は極めて多い。更に、ベクトルの
数は多いほどより正確な動きベクトル検出ができるが、
処理」はそれに比例して多くなる。先の例では垂直水平
とも７（１で４９ベクトルに対して処理をすることにな
る。

く動きベクトル検出〉 このような処理量を軽減する手段としてベクトルの選定
を数ステップに分ける方法が提案されている。これは、
はじめはベクトルを粗く設定し、次は選択されたベクト
ルの回りに細かく設定していくもので、全体として設定
されるベクトルの数に対して、各ステップで選定の対象
となるベクトル数は大幅に少なくできる。この場合のベ
クトルの設定例を第５図に示す。

同図において、第１ステツプでは２（画素／フレーム）
おきに９ベクトルについて選定を行ない（図で０で示す
ベクトル）、第２ステツプでは第１ステツプで選択され
たベクトルの周辺で１（画素／フレーム）おきに９ベク
トルについて選定する（図で・で示すベクトル）。この
場合、全体のベクトル数は「４９」になるが、各ステッ
プでのベクトル数は「９」であり、「１８」のベクトル
について誤差を求めるだけで済む。

このように、第２ステツプのベクトル数を第１ステツプ
と同じになるようにすると、第１ステツプと第２ステツ
プの処理は設定ベクトルの大きさの違いのみとなる。従
って、同じ処理回路が２度使え、処理回路は１ステップ
分あれば良い。

（発明が解決しようとする課題） ところが、このような従来型の動きベクトル検出では全
体のベクトル数に対する処理量は減らせるものの、処理
ステップは多段化され増えているので、処理量の削減は
十分でない。また、ベクトル数は削減されていないので
、可変長符号化され伝送される情報量はそのままである
。

一方、動きベクトルは大きなフレーム面相関を持ってい
るにも関わらず、各フレーム独立に処理されており、相
関が有効に使われていない。

そこで、本発明は上記した従来の技術の課題を解決した
動き補償符号化方式を提供することを目的とする。

（課題を解決するための手段） 本発明は上記の目的を達成するために、連続して入力さ
れる画像信号の連続フレームのうち、予測に使うフレー
ムの空間位置を画像の動きに合わせて移動させ、フレー
ム間予測を行なう動き補償符号化方式において、前記画
像信号の連続フレームの中から一定間隔おきに特定フレ
ームを設定し、この特定フレーム同志の間で画像の動き
ベクトルを検出する第１の動きベクトル検出手段と、前
記特定フレームの間の非特定フレームの各フレームとそ
の前後のフレームとの間の動きベクトルを、前記第１の
動きベクトル検出手段で検出された動ぎベクトルとの差
として検出する第２の動きベクトル検出手段とよりなる
動き補償符号化方式を提供するものである。

（作　用） 上記した構成の動き補償符号化方式においては、連続し
て入力される画像信号の連続フレームの中から特定フレ
ームを予め一定間隔（数フレーム）おきに設定し、その
特定フレーム同志間で第１の動きベクトル検出手段によ
り第１ステツプの粗な動きベクトル検出を行なう。

次に、その特定フレームの間の非特定フレームにおいて
予測により符号化する際に、第２の動きベクトル検出手
段により第２のステップとして上記の第１ステツプで選
択された動きベクトルに基づいてさらに精度の高いベク
トル差検出を行なう。

（実　施　例） 本発明になる動き補償符号化方式の実施例について以下
に図面と共に説明する。

第１図は本発明になる動き補償符号化方式の一実施例の
符号化器の構成を示すブロック図である。

この符号化器の基本的な構成は、従来例に準じたものと
なっており、前出の第２図中の同一構成部分には同一番
号を付す。

第１図においては、予測に使われる独立フレームの符号
化が済んでから非独立フレームを符号化するための（Ｎ
−１）フレームメモリ３１［Ｎは２以上の整数］を持つ
。

また、予測信号（予測値）を前後二つのフレームをもと
に形成するために、二つのフレームメモリ３２．３３と
、それぞれの信号の空間位置（２次元空間位置）を移動
する位置シフタ３４．３５と、この位置シフタ３４．３
５で移動するシフト量を与えるシフト量禅出器３６と、
位置シフタ３４．３５で空間位置が移動させられたそれ
ぞれの信号に重み付けをする二つの係数掛は算器（×α
、×（１−α）　）　３７゜３８と、それらの加算器３
９とがある。［但し、０〈αく１］ また、動きベクトル検出のために、動きベクトル検出器
４０と、ベクトル差検出器４１とがある。

さらに、切換えスイッチ４２を画像信号入力端子１と（
Ｎ−１）フレームメモリ３１との間に、切換えスイッチ
４３を予測信号減算器２と直交変換器３との間に、切換
えスイッチ４４を二つのフレームメモリ３２．３３の間
に、切換えスイッチ４５をフレームメモリ３３とベクト
ル差検出器４１との間にそれぞれ設ける。

第１図に示した実施例の構成において、画像信号入力端
子１より入力された動画像の信号（連続フレーム）は、
切換えスイッチ４２．４３で、独立に符号化されるフレ
ームではａ側に接続され、（Ｎ−１）フレームメモリ３
１や予測信号減算器２を介さずに直交変換器３へと導か
れる。

直交変換器３．量子化器４．可変長符号化器５の動作は
基本的に従来例と同様である。

一方、残りの非独立フレームはフレーム間予測されるの
で、予測信号を減算するが、本発明方式では独立フレー
ムを先に符号化しておく必要があるので、残りのフレー
ムについてはその分を遅延させる。

ここで、独立とするフレームをＮフレームに１フレーム
〔Ｎは２以上の整数Ｊとすると、その遅延量は（Ｎ−１
）フレーム分となる。ここで、Ｎは３ないし５程度とす
る。残りの非独立フレームの時には切換えスイッチ４２
．４３をｂ側に接続し、信号は（Ｎ−１）フレームメモ
リ３１で（Ｎ−１＞フレーム分だけ遅延され、予測信号
減算器２で予測信号が減算された後に直交変換器３に導
かれ、その予測誤差（残差）について符号化される。

ここで、切換えスイッチ４２．４３は定期的にＮフレー
ムに１フレームだけａ側に接続され、それ以外ではｂ側
に接続されることになる。以降の直交変換器３．（６）
子化器４．可変長符号化器５の動作は、独立フレームの
ときと同じである。

上記した予測符号化処理については、その様子を第７図
に示すが、ａが従来例のフレーム間予測方法で、ｂが本
発明の場合のフレーム間予測方法である。同図で、四角
形は連続して入力される動画像信号の連続フレームであ
り、その中で陰を付けたものは独立にフレーム内で符号
化されるフレームで、ａでは最初（またはリセット時）
のみが独立フレームとなっているが、ｂでは定期的に独
立フレームがある。矢印はフレーム閤予測の方向関係を
示しており、ａでは各フレーム同様に前フレームからの
み予測が行なわれるが、ｂでは前後の二つの独立フレー
ムから予測される。

また、予測は独立フレーム°のみをもとに行なわれ、予
測されたフレームが別の予測に使われることはない。

く予測信号形成〉 次に、本発明方式における予測信号の作り方について述
べる。

予測信号は、フレームメモリ３２に蓄えられた新独立フ
レームの信号とフレームメモリ３３に蓄えられた旧独立
フレームの信号から得られる。

フレームメモリ３２には独立フレーム処理時に信号が入
力され、同時に切換えスイッチ４４がａ側に接続される
ことによりフレームメモリ３２の信号がフレームメモリ
３３に入れ換えられる。予測処理時にはこれらの出力が
位置シフタ３４．３５によりシフト量算出！１３６より
与えられるシフト漏だけ中間位１１（２次元空間位置）
が移動（シフト）させられる。

シフト−算出器３６では、入力される動きベクトルをフ
レーム間の時間関係から、旧フレームに対しては（−ｉ
　）倍し、新フレームに対しては（Ｎ−１）倍してシフ
ト量を得る。

ここで、１は独立フレームをＯ（ゼロ）とした予測フレ
ームの番号で、ｔ−１，２，３，・・・（Ｎ−ｉ）であ
る。

位置シフタ３４．３５の出力は、係数掛は算器３７゜３
８によって、係数掛は算器３７ではα倍、係数掛は算器
３８では（１−α）倍され［但し、但し、０くαく１］
、加算器３９によって加鐸され、予測信号減算器２に予
測信号として供給される。ここで、重み付けの係数αは
、２次線形予測ではｉ／Ｎとなる。

く動きベクトル検出〉 次に、本発明方式における動きベクトル検出の方法であ
るが、第１ステツプの処理は、第１図中の動きベクトル
検出ｌ５４０で行なわれる。この動きベクトル検出器４
０の構成例を第３図に示す。

第３図において、平均二乗誤差が求められる二つのフレ
ームの信号は、新フレームの信号がベクトル検出信号入
力端子［Ａ］　５１から、旧フレームの信号がベクトル
検出信号入力端子［Ｂ１５２からそれぞれ入力され、ラ
ンダム・アクセス・メモリ（ＲＡＭ）５３．５４に書き
込まれる。

ここで、ＲＡＭ５３．５４で保持される信号の空間領域
は、動きベクトルを求める８×８や１６Ｘ１６画素のブ
ロックが設定されるベクトルで動いた空間領域の分より
多くしておく。

動きベクトルは、入力される二つのフレームに挟まれた
フレームで使われるので、各々を同等にみる必要があり
、両方のフレームを対称的に動かして動きベクトルを求
める。

ＲＡＭ５３．５４に与えるアドレスは、書き込み時はブ
ロック内画素の主アドレスによって、読み出し時は主ア
ドレスにアドレスシフト量を加減算することで得られる
。

また、書き込み動作は一度だけだが、読み出しはベクト
ル数だけ行なわれる。アドレスシフト量は、ベクトル値
発生器５５から出力されるＮフレーム問に対応した設定
ベクトル値がそのまま使える。

すなわち、新フレームに対応するＲＡＭ５３のアドレス
は、主アドレス発生器５６の出力にベクトル値発生器５
５から出力されるベクトル値を加算器５７で加算し、旧
フレームに対応するＲＡＭ５４のアドレスは、主アドレ
ス発生器５Ｇの出力から上記のベクトル値を減算器５８
で減算する。

このようにして得られる各ＲＡＭ５３．５４の出力は、
減算器５９で差が求められ、二乗器６０で入力値の二乗
値に変換され、積分器６１で１ブロツクの間累積加算し
、設定されたベクトル値に対しての平均二乗誤差を得る
。

ここで、第３図中に破線で囲った平均二乗誤差検出（計
粋）部の処理は、各ブロックで各設定ベクトルに対して
ブロック内画素数だけ繰り返されるので、処理量は入力
される画素数のベクトル数倍になる。すなわち、リアル
タイムに処理しようとすると、処理サイクルは画素のサ
イクルのベクトル数倍になり、設定されるベクトル数を
「９」とすると、９倍の処理速度が要求される。しかし
、テレビ電話などの低レート符号化では画素が通常のテ
レビ信号の１／４から１／１６程度に削減されており、
その９倍程度の速度の処理は問題ない。

一方、画素のレートが高い場合には各ベクトルに対して
並列処理をすることになり、回路量はベクトル数に比例
して多くなる。

このようにして得られた各ベクトルの平均二乗誤差は、
ベクトル選択器６２で最も少ないものが選択され、その
ベクトルの１フレ一ム分の初きベクトル値Ｖ′が出力さ
れる。選択された動きベクトル値Ｖ′は、予測フレーム
の処理の間使われるので、フレームメモリ６３に蓄積さ
れ、ベクトル値出力端子６４より出力される。

ここで、動きベクトル値はブロック毎に発生するので、
フレームメモリ６３は画素値のフレームメモリである３
２や３３に対して１／（ブロック内画素数）の小容量の
もので済む。

くベクトル差検出〉 次に、第２ステツプとして各予測フレームでのベクトル
差を求める処理であるが、これは第１図中のベクトル差
検出器４１によって行なわれる。このベクトル差検出器
４１の構成例を第４図に示すが、第３図に示す動きベク
トル検出器４０との差はＲＡＭアドレスの発生方法など
で第３図中に破線で囲った平均二乗誤差検出部は第３図
と同じである。

平均二乗誤差が求められる二つのフレーム信号は、予測
されるフレームの信号がベクトル検出信号入力端子［Ａ
］　５１から、新旧（前後）の独立フレームの信号がベ
クトル検出信号入力端子［Ｂ］５２からそれぞれ入力さ
れ、ＲＡＭ５３．５４に田き込まれる。

独立フレームとして新旧（前後）どちらのフレームを使
うかは、予測でより多く重み付けされるフレームの信号
が選択される。すなわち、新フレームの信号であるフレ
ームメモリ３２の出力と、旧フレームの信号であるフレ
ームメモリ３３の出力が、フレーム番号によって切換え
スイッチ４５でのＣ側。

ｄ側の接続切換えにより定期的に選択される。

ベクトル値の発生方法は、まず、第３図に示すベクトル
値出力端子６４から出力された独立フレーム同志の間の
動きベクトル値ｖ′がベクトル値入万端子６５より入力
され、ベクトル差発生ｉ！１ｉ６６の出力値ｄＶと加算
器６１で加算され、ベクトル値が得られる。ここで、ｄ
Ｖは従来例の第２ステツプのベクトル差と同様に考えら
れる。

このベクトル値は、１フレーム当りの墨なので、実際の
アドレスシフト量はフレームの時間関係により乗稗器６
８で、旧フレームに対しては（−１）倍し、新フレーム
に対しては（Ｎ−ｉ）倍して得る。得られたアドレスシ
フト量は、加算器６９で主アドレスと加算され、新旧（
前後）の独立フレームに対する読み出しアドレスとして
ＲＡＭ５４に入力される。一方、予測されるフレームは
固定して考えられるので、主アドレスのみが使われる。

各ＲＡＭ５３．５４の出力は、減算器５９．二乗器６０
゜積分器６１で各ベクトルの平均二乗誤差を算出し、そ
れが最小となる値ｄ■がベクトル選択器６２で求められ
、加鋒器１０で動きベクトルｍｖ’　と加算することに
より、最終的なベクトルｆＢＶを得る。

動きベクトル値ｖ′や値ｄＶは９種であるが、ベクトル
値Ｖは４９ベクトルの中から選ばれることになる。

以上の処理で、第３図に示した動きベクトル検出器４０
と第４図に示したベクトル差検出器４１の処理は同時に
は行なわれない。また、高速動作が要求される平均二乗
誤差検出部はほとんど同一なので、その部分を一つにす
ることができ、回路量は一つの動きベクトル検出器と大
差ない。

以上のように、上記した第１図においては、入力画像信
号は、切換えスイッチ４２．４３により数フレームおき
に独立フレームが得られ、動きベクトル検出器４０によ
りその独立フレーム同志の間の動きベクトルが求められ
る。

一方、非独立フレームの信号が（Ｎ−１）フレームメモ
リ３１により遅延され、非独立フレームの予測処理を行
なう前に、予測に使われる独立フレームの画像信号がフ
レームメモリ３２．３３により新旧（前後）の２フレー
ム分蓄えられる。フレームメモリ３２または３３の出力
は、切換えスイッチ４５で選択され、ベクトル差検出器
４１で予Ｓされるフレームの信号と第２ステツプのベク
トル差検出が行なわれる。

このように本発明方式の処理ステップはフレームにまた
がって行なわれ、各フレームでは一つのステップのみが
処理される。この様子を第６図に示すが、ａの従来例で
は各フレームで第１．第２の両方のステップの処理が行
なわれるのに対し、ｂの本発明方式の場合は独立フレー
ム（影を付けたフレーム）の処理時に第１ステツプが行
なわれ、予８！１される非独立フレームでは第２ステツ
プのみが行なわれる。

なお、この実施例ではステップが２段となっているが、
さらに多くの段数のものも考えられる。

その場合、独立フレームで第１ステツプと第２ステツプ
を行ない、予測フレームで第３ステツプと第４ステツプ
を行なうと言ったような処理となる。

また、上記した実施例では、連続して入力される画像信
号の連続フレームの中からフレーム間予測を用いないで
フレーム内で独立に符号化する独立フレームを予め数フ
レームおきに設定し、その独立フレーム同志閤で第１ス
テツプの粗な動きベクトル検出を行ない、次に、第２ス
テツプの精度の高いベクトル差検出を行なっているが、
本発明はこれに限らず、上記のような独立フレームを設
定しない従来のフレーム間予測による符号化における動
きベクトル検出にも適用できる。

（発明の効果） 以上の如く、本発明方式では、連続して入力される画像
信号の連続フレームの中から特定フレームを予め一定間
隔（数フレーム）おきに設定し、その特定フレーム同志
間で第１の動きベクトル検出手段により第１ステツプの
粗な動きベクトル検出を行ない、次に、その特定フレー
ムの間の非特定フレームにおいて予測により符号化する
際に、第２の動きベクトル検出手段により第２のステッ
プとして上記の第１ステツプで選択された動きベクトル
に基づいてさらに精度の高いベクトル差検出を行なうた
め、各フレームでの処理が１ステツプのみで済み、処理
ステップが２段の場合、従来手法が各フレームで２ステ
ツプの処理を行なうのに対し、半分の処理量となる。

第１の動きベクトル検出手段による第１ステツプのベク
トルは一定間隔（数フレーム）で共通になっており、復
号側に伝送する必要のあるベクトルの情報量も少なくな
る。これは、処理ステップがフレーム閤にまたがって行
なわれることで、従来手法で使われていなかった、動き
ベクトルのフレーム間相関が有効に使われるためである
。

一方、第２の動きベクトル検出手段による第２ステツプ
ではベクトルの範囲が限定されるが、動きベクトルのフ
レーム間相関は高いのであまり問題にならず、むしろ範
囲が限定されるため、ノイズなどにより誤ったベクトル
が選択されることが少なくなり、良好なベクトル検出が
行なわれる。

【図面の簡単な説明】

第１図は本発明になる動き補償符号化方式の一実施例の
符号化器の構成を示すブロック図、第２図は従来例にお
ける動き補償符号化の符号化器の構成を示すブロック図
、第３図は本発明の実施例を構成する動きベクトル検出
器を示すブロック図、第４図は本発明の実施例を構成す
るベクトル差検出器を示すブロック図、第５図は２ステ
ツプ処理における動きベクトルの設定例を示す図、第６
図は本発明と従来例の各フレームでの処理ステップを示
す図、第７図は本発明と従来例の予測方法を示す図であ
る。 １・・・画像信号入力端子、２・・・予測信号減算器、
３・・・直交変換器、４・・・量子化器、５．１３・・
・可変長符号化器、６・・・データ出力端子、７・・・
逆量子化器、８・・・直交逆変換器、９、３９．５７．
６７、６９．７０・・・加算器、１０、３２．３３．６
３・・・フレームメモリ、１１、３４．３５・・・位置
シフタ、 １２、４０・・・動きベクトル検出器、１４・・・動き
ベクトルデータ出力端子、３１・・・（Ｎ−１）フレー
ムメモリ、３６・・・シフト聞算出器、３７．３８・・
・係数掛は算器、４１・・・ベクトル差検出器、 ４２、４３．４４．４５・・・切換えスイッチ、５１、
５２・・・ベクトル検出信号入力端子、５３、５４・・
・ランダム・アクセス・メモリ（ＲＡＭ）、５５・・・
ベクトル値発生器、５６・・・主アドレス発生器、５８
、５９・・・減算器、６０・・・二乗器、６１・・・積
分器、６２・・・ベクトル選択器、６４・・・、ベクト
ル値出力端子、６５・・・ベクトル値入力端子、６６・
・・ベクトル差発生器、６８・・・乗算器。 特　許　出願人　日本ビクター株式会社代表考　垣木　
邦夫 第　１　図 糖 凹 晃 図 フし−ムＮｏ。 殆 図 第 図

Claims (1)

1. 【特許請求の範囲】 連続して入力される画像信号の連続フレームのうち、予
   測に使うフレームの空間位置を画像の動きに合わせて移
   動させ、フレーム間予測を行なう動き補償符号化方式に
   おいて、 前記画像信号の連続フレームの中から一定間隔おきに特
   定フレームを設定し、この特定フレーム同志の間で画像
   の動きベクトルを検出する第１の動きベクトル検出手段
   と、 前記特定フレームの間の非特定フレームの各フレームと
   その前後のフレームとの間の動きベクトルを、前記第１
   の動きベクトル検出手段で検出された動きベクトルとの
   差として検出する第２の動きベクトル検出手段とよりな
   る動き補償符号化方式。