JPH04189093A

JPH04189093A - 動き補償装置

Info

Publication number: JPH04189093A
Application number: JP2319277A
Authority: JP
Inventors: Kenji Sugiyama; 賢二杉山
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 1990-11-22
Filing date: 1990-11-22
Publication date: 1992-07-07

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】（産業上の利用分野）画像信号を記録、伝送１表示する装置において、動画像
信号を動き補償してフレーム間予測や補間に利用する動
き補償装置に関する。

（従来の技術）動画像のフレーム間の相関を利用して符号化するフレー
ム間予測符号化において、予測信号を画像の動きに合わ
せて空間的に移動させる動き補償符号化方式は、特に高
い効率の得られる方式として実用化されようとしている
。

この方式では、画像がどの様に動いているかを検出し、
予測信号をその動きに合せて移動させて予測信号を作り
、その予測信号を入力信号から減算して残差を符号化す
る。

又、フレーム数の変換においては、画像の動きに合せて
補間フレームを作る方法が検討されている。

この動き補償の方法では、８×８画素乃至１６×１６画
素毎のブロック単位で、１、フレーム間で水平垂直とも
７〜１５画素程画素力形のエリアの動きベクトルを対象
とするのが一般的である。

（発明が解決しようとする課題）動き補償の処理は、より細かな精度で、より広い範囲に
亘って行われるのが理想的である。

しかし、以下に述べる２つの不具合があった。

（１）そうすると動きベクトルの検出のための処理量が
増加し、装置化において実現が困難となる。

動きベクトルの種類も増加することになるので、その符
号量も増加し、予測精度の向上により予測残差の符号量
が減ったとしても、全体のデータ量はあまり減少しない
。

（２）ベクトルの設定配置も方形のため、斜め方向のベ
クトルはあまり使われず無駄になる。

本発明は以上の点に着目してなされたもので、（１）動
きベクトルの精度をベクトルの絶対値が小さい部分で高
く、絶対値が大きい部分で低くすることにより、同じベ
クトル数でも画像の性質や視覚特性に適した処理となり
、より適切な動き補償動作が行われることにより、動画
像のフレーム間予測符号化に応用した場合にはデータ量
をより少なくでき、フレーム数変換やインターレース変
換に応用した場合には自然な処理画像を得ることができ
、（２）動きベクトルの配置を方形ではなく、垂直水平方
向に多くし、斜め方向に少なくしたり、その最大値をＯ
から等距離になるようにしたりして、無駄を無くした動
き補償装置を提供することを目的とするものである。

（課題を解決するための手段）以上の目的を達成するために、（］）画像信号を空間的に移動させてフィールド間やフ
レーム間で予測や補間を行なう動き補償処理で、動きベ
クトルの絶対値が小さい部分で動きベクトルの精度を高
くし、動きベクトルの絶対値が小さい部分で動きベクト
ルの精度を低くすることを特徴とする動き補償装置を提
供し、（２）画像信号を空間的に移動させてフィールド
間やフレーム間で予測や補間を行なう動き補償処理で、
動きベクトルの配置を垂直及び水平方向に多くし、斜め
方向に少なくすることを特徴とする動き補償装置を提供
し、（３）画像信号を空間的に移動させてフィールド間やフ
レーム間で予測や補間を行なう動き補償処理で、動きベ
クトルの配置をその最大値を０がら等距離になるように
することを特徴とする動き補償装置を提供するものであ
る。

（作用）動き補償で用いる動きベクトルの密度を、動きベクトル
の絶対値によって変え、絶対値が小さい部分はベクトル
を密に設定し、絶対値が大きい部分はベクトルを粗に設
定する。

又、ベクトルの設定配置においては、単純な方形の配置
に対して斜め方向のベクトルを減らし、垂直や水平方向
のベクトルを増やす配置とする。

動き補償は、動きが少ない場合には高い精度で行われ、
動きが大きい（早い）場合には粗く行われる。

一方、画像の空間周波数特性や人間の視覚特性は、画像
の動き量が少ない場合にはあまり劣化しないが、動きが
大きくなるとかなり劣化する。

又、斜め方向の動きは少ない。

従って、本発明の方式は、この様な特性に適合した動き
補償になる。

動きベクトルの範囲も従来より広くすることができる。

（実施例）第１図は本発明の動き補償装置の第１の実施例を示すブ
ロック図である。

従来の動き補償装置とその動作はほぼ同じであるが、−
点鎖線で囲まれたベクトル発生部に特徴がある。

基本的な動作を説明すると、現フレームと動き補償され
る基準フレームを用いて、それぞれを８×８画素乃至１
６Ｘ１６画素程度のブロック単位で、動きベクトルの分
だけ基準ベクトルを空間的に移動させて、マツチングを
調べ、最も誤差の少なくなる動きベクトルを調べる。そ
のベクトルがどれであるかの使用ベクトルＮｏを出力す
ると共に、対応した動き補償信号を出力する。

以下、第１図において、動作を詳細に説明する。

基準フレーム信号入力端子１より入力された基準フレー
ム信号は、画像メモリ２へ供給され、書き込まれる。

同様に、現フレーム信号入力端子３より入力された現フ
レーム信号は、画像メモリ４へ供給され、書き込まれる
。

この画像メモリ２，４からの読み出しは、Ｒアドレス（
読みだしアドレス）により行われるが、読み出しはブロ
ック単位で行われるので、アドレスは、ブロックが画像
全体のどこにあるかを示すアドレスと、各画素がブロッ
ク内のどこであるかを示すアドレスが必要になる。

一方、ＣＬＫ端子５より、ＣＬＫ　（クロック）が入力
し、ブロック内画素カウンタ６へ供給されている。

ブロック内画素カウンタ６は、第１図中のカウンタのう
ちで最も高速に動作し、ブロック内の画素アドレスをカ
ウントし、加算器７へ出力を供給すると共に、Ｃ（キャ
リー）をベクトル発生部８のベクトルＮｏカウンタ９の
ＣＬＫとして供給している。

ここで、ブロックは、８×８など２次元的にとられるの
が一般的であるので、実際のカウンタは、Ｘ方向とｙ方
向のものが縦続に接続される。

ベクトル発生部８は、ベクトルＮｏカウンタ９及びベク
トルＲＯＭｌ０により構成され、各ベクトルのマツチン
グを調べるために、各ベクトルを発生する部分である。

ベクトルＮｏカウンタ９は、マツチングを調べるベクト
ルの数だけカウントし、ベクトル番号としてベクトルＲ
ＯＭＩ　Ｏへ供給すると共に、Ｃ（キャリー）を出力し
てブロックカウンタ１２のＣＬＫとして供給している。

ベクトルＲＯＭｌ０は、その番号から、実際のベクトル
値を発生し、加算器１１へ供給している。

ブロックカウンタ１２は、フレーム内のプロ・ツクをカ
ウントし、その出力を加算器７へ供給している。

さらに、全ブロックが終了したら、次のフレームへ移る
こととなるが、その制御回路は省略しである。

加算器７は、ブロック内画素カウンタ６の出力信号であ
る各画素がブロック内のどこにあるかを示すアドレスと
、ブロックカウンタ１２の出力信号であるブロックが画
像全体のどこであるかを示すアドレスを加算し、Ｒアド
レス（読み出しアドレス）として画像メモリ４へ供給し
て、現フレームの読み出しに活用されている。

この加算は、実際にはＸ方向とｙ方向で２次元的に行わ
れる。

さらに、加算器１１は、前記加算器７の出力信号である
アドレスと、ベクトルＲＯＭｌ０の出力信号である実際
のベクトル値を加算し、Ｒアドレス（読み出しアドレス
）として画像メモリ２へ供給して、基準フレームの読み
出しに活用されている。

即ち、現フレームはベクトルに関係なく同じブロックが
何度も読み出されるが、基準フレームはさらにベクトル
を加えたものを用いるので、ベクトル分だけずらされた
ブロックが読み出されることとなる。

各画像メモリ２．４の出力信号は、減算器〕３へ供給さ
れている。

減算器１３は、２つの画像メモリの差を取り、絶対値化
器（ＡＢＳ）１４へ供給している。

絶対値化器１４は、入力信号の絶対値を取り、累積加算
器１５へ供給している。

累積加算器１５は、前記絶対値を１ブロツクの間加算し
累積値を得て、フリップフロップ１６及び比較器１７へ
供給すると共に、ブロック内画素カウンタ６より供給さ
れるＣ（キャリー）により、ベクトル番号が変わる毎に
リセットされる。

フリップフロップ１６は、前記累積加算器１５より供給
される累積値のうち、最小の累積値を保持する。

比較器１７は、前記累積加算器１５より供給される累積
値と、フリップフロップ１６より供給される最小の累積
値を比較し、フリップフロップ１６の累積値の方が小さ
い場合には、ＡＮＤ回路】８のゲートを開き、ブロック
内画素カウンタ６よりのキャリーをフリップフロップ１
６ヘクロツクとして供給することにより、最小の累積値
を更新している。

この時同時に、フリ・ツブフロップ１９は、この時のベ
クトル番号を、前記ベクトルＮｏカウンタ９より供給さ
れるベクトル番号により更新、保持する。

この動作により、各ベクトルのマツチングが終了した段
階で、最小となるベクトルの番号が、フリップフロップ
】９に保持されることとなり、使用ベクトルＮｏ出力端
子２０を介して出力される。

同様に、比較器１７は、前記累積加算器１５より供給さ
れる累積値と、フリップフロップ１６より供給される最
小の累積値を比較し、累積値の方が小さい場合には、Ａ
ＮＤ回路２１のゲートを開き、ＣＬＫ入力端子５よりの
クロックをＷＣＬＫ（書き込みクロック）として、バッ
ファ（ＢＵＦＦ）２２へ供給することにより、この時の
バッファ２２の画像信号を更新、保持する。

この動作により、各ベクトルのマツチングが終了した段
階で、最適な動き補償信号が、バッファ２２に保持され
ることとなり、ＲＣＬＫ入力端子２３より入力するＲＣ
ＬＫ　（読み出しクロック）によって読み出され、動き
補償信号出力端子２４を介して出力される。

この場合には、値は］ブロック分あるので、バッファメ
モリや、レジスタ等を用いて、最小誤差となるベクトル
の基準フレーム信号を、動き補償信号として出力する。

本発明において、特徴となるのはベクトル発生部である
。

第１図に示したベクトル発生部８は、ＲＯＭ　（Ｒｃａ
ｄ　０ｎｌｌ　Ｍｅｍｏｓ）によりデータを発生するも
ので、任意の値が発生可能である。

第２図は第１のベクトル配置例を示す図である。

第２図において、横軸は水平、縦軸は垂直を表しており
、ベクトルの絶対値が小さな部分である水平垂直±３画
素までを、１、画素間隔とベクトルの間隔を密にして精
度を高め、それより外のベクトルの絶対値が大きな部分
では、２画素間隔とベクトルの間隔を粗に、合計８９個
のベクトルを配置している。

第３図は、ベクトル発生部の他の実施例を示すブロック
図である。

第３図において、入力端子２６を介して第１、図中のブ
ロック内画素カウンタ６よりＣ（キャリー）が入来し、
ベクトルＮｏカウンタ９及び汎用カウンタ２７のＣＬＫ
として供給されている。

ベクトルＮｏカウンタ９は、マツチングを調べるベクト
ルの数だけカウントし、ベクトルＮｏ端子出力２８を介
してベクトル番号として出力すると共に、Ｃ（キャリー
）を出力端子２９を介して出力して、第１図のブロック
カウンタ１２のＣＬＫとして供給している。

第４図は、第３図における汎用カウンタの設定例を示す
図である。

例えば、第２図のようなベクトル配置の場合には、○１
ロ、△、の４種類のベクトルに分けて考えることにより
、４種類のカウントで図の全てのベクトルが発生できる
。

汎用カウンタ２７のスタート（ＳＴＡＲＴ）値、ストッ
プ（ＳＴＯＰ）値、ステップ（ＳＴＥＰｊ値等の設定値
は、第４図のようなパラメータとして制御ＲＯＭ３０に
記憶されており、汎用カウンタ２７へ供給される。

汎用カウンタ２７は、１種類のベクトルのカウントを終
了するとベクトル出力端子３１を介して第１図の加算器
１１へ供給すると共に、キャリーをカウンタ３２へ供給
している。

カウンタ３２は、制御ＲＯＭ３０のアドレスを１つずら
せて、次のカウントを動作をさせる。

制御ＲＯＭ３０は、第１図のベクトルＲＯＭに比べて、
極めて小容量で良く、レジスタ等で代用することも可能
である。

第５図は第２のベクトル配置例を示す図である。

これは、ベクトルの精度を３段階、即ち１／２画素間隔
、１画素間隔、２画素間隔としたものである。

実際には、１／２画素間隔の画素は存在しないので、近
接する４つの画素から線形補間等によって作成する。

第６図は第３のベクトル配置例を示す図である。

通常、画像の動きは、水平、垂直方向に対して多く、斜
め方向に対しては少ないので、第２図。

第５図の如く方形のベクトル配置よりも、第６図の如く
菱形のベクトル配置が有利である。

即ち、同じベクトル数ならば、水平、垂直方向のより大
きな動きまでも補償できることとなる。

第７図は第４のベクトル配置例を示す図である。

これは、第６図をさらに発展させたもので、どの方向に
もほぼ同距離の最大ベクトルを持ち、動きベクトルの配
置をその最大値を０から等距離になるようにしたもので
あり、ベクトル数に対して理想的な処理となる。

第８図は本発明の動き補償装置の第２の実施例を示すブ
ロック図であり、第１図と同一部分には同一符号を付し
て示しその説明を省略する。

第１図に示す動き補償装置の第１の実施例は、自ら最適
な動きベクトルを求める動作をするが、復号化装置等で
は、どのベクトルが使用されたかの情報が符号化装置側
より得られるので、このマツチング動作が不要となり、
第８図に示す如く回路構成が簡単になる。

第８図において、基準フレーム信号入力端子１より入力
された基準フレーム信号は、画像メモリ２へ供給され、
書き込まれる。

一方、ＣＬ　Ｋ端子３３より、ＣＬＫ　（クロ・ツク）
が入力し、ブロック内画素カウンタ６へ供給さり。

ている。このタロツクは、第１図におけるＣ　Ｌ　Ｋ端
子５へ供給されるクロ・ツクに比べ、】／′（ベクトル
数）の遅いスピードで良（１０ブロック内画素カウンタ６は、プロ・ツク内の画素アド
レスをカウントし、加算器７へ出力を供給すると共に、
Ｃ（キャリー）を出力してプロ・ツクカウンタ１２のＣ
ＬＫとして供給している。

加算器７は、ブロック内画素カウンタ６の出力信号であ
る各画素がブロック内のどこにあるかを示すアドレスと
、ブロックカウンタ１２の出力信号であるブロックが画
像全体のどこであるかを示すアドレスを加算し、加算器
】１へ供給している。

さらに、加算器１】は、前記加算器７の出力信号である
アドレスと、ベクトル値入力端子３４より入来するベク
トル値を加算し、Ｒアドレス（読み出しアドレス）とし
て画像メモリ２へ供給するので、動き補償信号出力端子
２４を介して動き補償信号が、直ちに得られる。

（発明の効果）本発明の動き補償装置は、以下に述べる如く、実用上極
めて優れた効果を有するものである。

（１）動きベクトルの精度をベクトルの絶対値が小さい
部分で高く、絶対値が大きい部分で低くすることにより
、同じベクトル数でも画像の性質や視覚特性に適した処
理となり、より適切な動き補償動作が行われることによ
り、動画像のフレーム間予測符号化に応用した場合には
データ量をより少なくでき、フレーム数変換やインター
レース変換に応用したζ合には自然な処理画像を得るこ
とができる。

（２）動きベクトルの配置を方形ではなく、垂直水平方
向に多くし、斜め方向に少なくしたり、その最大値をＯ
から等距離になるようにしたりして、無駄を無くした。

【図面の簡単な説明】

第１図は本発明の動き補償装置の第１の実施例を示すブ
ロック図、第２図は第１のベクトル配置例を示す図、第
３図はベクトル発生部の他の実施例を示すブロック図、
第４図は第３図における汎用カウンタの設定例を示す図
、第５図は第２のベクトル配置例を示す図、第６図は第
３のベクトル配置例を示す図、第７図は第４のベクトル
配置例を示す図、第８図は本発明の動き補償装置の第２
の実施例を示すブロック図である。１・・・基準フレーム信号入力端子、２．４・・・画像
メモリ、３・・・現フレーム信号入力端子、５．３３・
・・ＣＬＫ端子、６・・・ブロック内画素カウンタ、７
゜１１・・・加算器、８・・・ベクトル発生部、９・・
・ベクトルＮｏカウンタ、１０・・・ベクトルＲＯＭ、
１．２・・・ブロックカウンタ、１３・・・減算器、１
４・・・絶対値化器（ＡＢＳ）　、１５・・・累積加算
器、１６．１９・・・フリップフロップ、１７・・・比
較器、１８．２１・・・Ａ　Ｎ　り回路、２０・・・使
用ベクトルＮｏ出力端子、２２・・バッファ（ＢＵＦＦ
）　、２３・・・ＲＣＬＫ入力端子、２４・・・動き補
償信号出力端子、２６・・・入力端子、２７・・・汎用
カウンタ、２８・・・ベクトルＮ。端子、２９．３１・・・出力端子、３０・・・制御ＲＯ
Ｍ。３２・・・カウンタ、３４・・・ベクトル値入力端子。特許出願人　日本ビクター株式会社代表者　　坊上　軍部第　２　　図　　　°　７°７　４Ｓｌ’７）Ａｏ　　
４ｘ４＋６　　へ“クトル Δ　　　４ｘ３＋２　　へ゛クトｌレマ　　　３ｘ４　　　１２’ｒクトｌし合計　８９へ゛
男ル全＝１−　　ｇｑ第　４　図１　　・第５図

Claims

【特許請求の範囲】

（１）画像信号を空間的に移動させてフィールド間やフ
レーム間で予測や補間を行なう動き補償処理で、動きベ
クトルの絶対値が小さい部分で動きベクトルの精度を高
くし、動きベクトルの絶対値が小さい部分で動きベクト
ルの精度を低くすることを特徴とする動き補償装置。
（２）画像信号を空間的に移動させてフィールド間やフ
レーム間で予測や補間を行なう動き補償処理で、動きベ
クトルの配置を垂直及び水平方向に多くし、斜め方向に
少なくすることを特徴とする動き補償装置。
（３）画像信号を空間的に移動させてフィールド間やフ
レーム間で予測や補間を行なう動き補償処理で、動きベ
クトルの配置をその最大値を０から等距離になるように
することを特徴とする動き補償装置。