JPH04150284A

JPH04150284A - 動ベクトル検出方法およびその装置

Info

Publication number: JPH04150284A
Application number: JP2271519A
Authority: JP
Inventors: Chikako Mogi; 茂木　千佳子
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 1990-10-09
Filing date: 1990-10-09
Publication date: 1992-05-22

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】（産業上の利用分野）本発明は動き補償フレーム間符号化方式における動ベク
トルの検出方法に係り、特に動ベクトルの動きの推定結
果に基づき動ベクトル探索範囲が応動する動ベクトル検
出方法に関する。

（従来の技術）一般に画像処理の動画像信号の符号化方式の一方式とし
て、動き補償フレーム間符号化方式がある。

この動き補償フレーム間符号化方式は、動画像のフレー
ム間（またはフィールド間）の相関を利用して現フレー
ムと前フレーム間の画像の動き量を求め、この動き量に
基づいて現フレームを補償し、これと現フレームとの差
分値を求め、この差分値と動き情報とを符号化するもの
である。

前記動き補償を行うためには、動画像信号の動き量（動
ベクトル）を高精度で求めるこ４とが重要であり、画像
を複数に分割したブロック単位で求めるブロックマツチ
ング方法が、一般的によく知られている。

第１４図に前記ブロックマツチング方法の一例を示す。

この方法は、まず現フレーム１において、動ベクトル２
を検出しようとするブロックに対して、現フレーム１内
の現ブロック３と前フレーム４の同一位置ブロック５を
中心とした探索範囲６内にある全ての参照ブロック７に
ついて、フレーム間の差分に基づいた評価間数値を求め
る。

次に、その評価関数値が最小となるブロックを見つけ、
この間の動き量を動ベクトル２として検出するものであ
る（この様に全ての参照ブロック７について評価間数値
を求めることを全探索という）。

しかし、このブロックマツチング方法では、探索範囲を
広範囲に設定したほうがより近似する動ベクトルを見つ
ける確率が高くなるが、反面参照ブロック数が増え、評
価関数値を計算する演算量が増大してしまう。

そこで演算量を低減するために多段階木探索（トリーサ
ーチ）方法が採用されている。

第１５図は、多段階本探索方法の構成の一例を示す。ま
ず第１段階として粗い探索を行い、その中から評価関数
値が最小となる第１動ベクトル（Ｖｌ）を検出する。次
に検出された前記第１動ベクトル（ｖｌ）を初期偏位と
して、その前記第１動ベクトル（Ｖｌ）を中心として第
２段階の少し細かい探索を行い、その中から第２動ベク
トル（Ｖ２）を検出する。

さらに前記第２動ベクトル（Ｖ２）を中心に同様の処理
を繰り返し、段階ごとに細かい探索を行い、最終の検出
された第ｎ動ベクトル（Ｖｏｕｔ）の精度を上げていく
ものである。

この多段階木探索方法では、第１６図に示す全探索の検
出点に比較して、かなりの検出点を削減でき、評価関数
値の演算量は大幅に低減され、動ベクトルの検出の高速
化が図れる。

また第１７図は探索範囲の拡大および移動の構成を示す
図であるすなわち、設定した探索範囲では、動き量が大
きすぎて良好な動ベクトルを検出できないとき、探索範
囲を拡大した拡大探索範囲８に設定することもできる。

さらに、基本探索範囲９では検出しきれない場合に、探
索範囲を移動して動き、ベクトルを検出することができ
る。

（発明が解決しようとしている課題）しかし、前述した従来の多段階木刀法では、各段階で一
度でも動ベクトルが誤検出されると、後段の探索に悪影
響を及ぼし、検出精度が低下するという問題点があった
。

また、全探索方法、木探索方法とも、動きを検出する範
囲は、上下左右どの方向についても、均等でかつ固定的
であり、動きの大きくブロックに対しても動きの小さな
ブロックに対しても、さらに動き量が推定されるブロッ
クに対しても同一の探索範囲を適用している。

つまり、動きが大きく探索範囲を越えるような時、正し
い動ベクトルが検出されない場合があり、逆に動きが探
索範囲より小さい時、動き量が限定されている時には、
無駄な探−索を行っている場合がある。

一方、探索範囲を拡大すると、評価関数値の演算量が増
大し、無駄な探索も増大する。

そこで本発明は、従来の探索方法のように固定した探索
範囲に限られることなく、動きの推定結果に動ベクトル
探索範囲が応動する動ベクトル検出方法を提供すること
を目的とする。

（課題を解決するための手段）本発明は上記目的を達成するために、第１の手段として
画像データを複数のブロックに分割し前フレームと現フ
レームの間で、ブロック毎に動きを示す動ベクトルを検
出するブロックマツチング手法によった動ベクトル検出
方法において、検出すべき動ベクトルの探索範囲を参照
するブロックの座標点（Ｘｎ、Ｙｎ）の集合として、す
でに検出済みの複数のブロックの動ベクトルから探索範
囲の多数の動ベクトルパターンを形成する工程と、前記
動ベクトルパターン形成工程により、新たな入力ブロッ
クデータが入力された時に、所定動ベクトル探索範囲に
対応した探索ブロックの所定最適パターンである動ベク
トルパターンを読出し、前フレームの各参照ブロックの
評価関数値が最小となるブロックを見い出して動ベクト
ルを検出する動ベクトル検出工程とで構成される動ベク
トル検出方法を提供することができるまた第２の手段として、画像データを複数のブロックに
分割し前フレームと現フレームの間で、ブロック毎に動
きを示す動ベクトルを検出するブロックマツチング手法
によった動ベクトル検出装置おいて、検出すべき動ベク
トルの探索範囲を参照するブロックの座標点（Ｘｎ、Ｙ
ｎ）の集合として、すでに検出済みの複数のブロックの
動ベクトルから探索範囲の多数の動ベクトルパターンを
形成する手段と、前記動ベクトルパターン形成手段によ
り、新たな入力ブロックデータが入力された時に、所定
動ベクトル探索範囲に対応した探索ブロックの所定最適
パターンである動ベクトルパターンを読出し、前フレー
ムの各参照ブロックの評価関数が最小となるブロックを
見い出して動ベクトルを検出する動ベクトル検出手段と
で構成される動ベクトル検出装置を提供することができ
る。

（作用）以上のような動ベクトルの探索方法および動ベクトルの
探索装置により、動ベクトルの探索範囲を参照するブロ
ックの座標点の集合として与えることにより、任意の形
状、密度の検出点を設定することができ、ブロックの動
きに適した効率的な探索を行い、精度の良い動ベクトル
を検出することができる。

（実施例）以下、図面を参照して本発明の一実施例を詳細に説明す
る。

第１図は、動き補償フレーム間符号化に適用する動ベク
トルの探索方法を実施するための動ベクトルの探索装置
の一構成例を示すブロック図である。

まず人力画像となる現画像ブロック２１が、動き検出器
１１と減算器１２にそれぞれ到来する。

前記動き検出器１１は、後述する半導体メモリから受は
取った所定探索範囲に基づいてブロックマツチング処理
を行い、動ベクトル２２を検出する。

そして前記減算器１２は、入力した現ブロックと動き補
償されたブロックとの差分データ（差分値２３）を量子
化する量子化器１３に接続される前記量子化器１３は、
前記差分値２３を符号化出力信号２４として出力すると
共に、量子化された差分データを復元するための復号器
１４に出力する。

さらに前記復号器１４によって復元された差分データ（
逆量子化結果）２５は、加算器１５を経て、その２フレ
一ム分の復号画像２６を記憶するフレームメモリ１６に
格納される。

次に前記フレームメモリ１６は前記動き検出器１１と可
変遅延器１７に、該フレームメモリ１６に格納されてい
た復号画像２６を前フレーム２７として伝送する。

そして前記可変遅延器１７は、前記動き検出器１１から
の検出された動ベクトル分だけ前フレーム２７において
ブロックを移動して動き補償を行い、その動き補償され
たブロック２８を前記減算器１２と前記加算器１５に伝
送する。

また、前記動き検出器１１から出力される動ベクトル２
２は、バッファメモリ１８に入力される。

このバッファメモリ１８は、例えば、参照する動ベクト
ルが同一フレームの隣接するブロックのときには、２フ
イ一ルド分の動ベクトルを格納し、もしくは前フレーム
の動ベクトルも参照するときには、２フレ一ム分の動ベ
クトルを格納する記憶装置である。

そして、前記バッファメモリ１８から格納した動ベクト
ル２２を膠照動ベクトル２９として、参照動ベクトルの
パターンベクトル量子化器１９に読み出されている。こ
のパターンベクトル量子化器１９は、現在のブロックに
用いる検出済みの参照動ベクトルを前記バッファメモリ
１８から読み出して、それらのパターンをベクトル量子
化する回路である。

さらに前記パターンベクトル量子化器１９から量子化さ
れた結果（Ｖ、Ｑ）３０によって、動ベクトルの探索範
囲を後述する座標点の集合で多数のパターンを予め格納
する半導体メモリからなる探索パターンメモリ２０から
最適な動ベクトル探索範囲に対応する座標点のデータが
前記動き検出器１１に伝送される。

この半導体メモリは、不揮発性メモリ、例えば、ＲＯＭ
　（Ｒｅａｄ　０ｎｌｙ　Ｍｅｔｓｏｒｙ）や、ＥＥＰ
ＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓｂｌｅ　
Ｐｒｏｇｒａｓａｂｌｅ　Ｒｅａｄ　ＯｎｌｙＭｅ■ｏ
ｒｙ）等が用いられているが、揮発性メモリでもメモリ
のバツアクップを備えることによって、用いることがで
きる。

次に第２図には前述した座標点の例として、探索範囲の
座標点によるブロック位置の構成の一例を示す。

すなわち、現在のブロックの例えば中心点（Ｘ＋、）’
＋）を座標原点（０，０）に置くものとして、動ベクト
ルを検出しようとするブロックの位置（中心点Ｘ２１Ｖ
２）を前記座標原点（０，０）からの相対的な位置とし
て、前記探索パターンメモリ２０に座標（ｘ、ｙ）をパ
ターン毎に格納しており、前記座標（ｘ、ｙ）はそれぞ
れ符号付きの５ビット程度の容量で十分表現することが
できる。

そしてこの探索範囲は、利用する者が任意位置に範囲の
大きさ、形状、検出点の粗密さ等を容易に設定すること
ができる。

第３図には現ブロック３と参照する動ベクトルのブロッ
ク位置の関係の一例を示す。すなわち、これらのブロッ
クのすでに検出済みの動ベクトルを参照して現ブロック
の動ベクトルを予測し、それに適した探索範囲を決定し
ている。

その探索範囲の一例として、第４図（ａ）。

（ｂ）乃至第１１図に探索範囲の設定例を示す。

第４図（ｂ）は、隣接するブロックの動ベクトル（参照
動ベクトル）２が、同一方向である場合に、現ブロック
の動ベクトルもそれらと同方向の動ベクトルが指定され
る。よってこの動ベクトルを検出するのに効率的な探索
範囲を第４図（ａ）に示すような検出点の探索範囲に設
定する。すなわち、破線で示す現ブロック３の所定座標
（ｘ。

ｙ）を座標軸の原点（０，Ｏ）として、検出される複数
の動ベクトルが同一方向を向いているときの新たな探索
範囲を示している。

第５図（ａ）に示すような設定される動ベクトルの探索
範囲は、第５図（ｂ）の参照するベクトルが、複数の隣
接ブロック３１に、制止する動ベクトルが与えられたと
きに設定される。

また、第６図（ａ）に示すような設定される動ベクトル
の探索範囲は、第６図（ｂ）に示すように参照するベク
トルが、動ベクトル２の動きが大きなときに設定される
。

第７図（ａ）に示すような設定される動ベクトルの探索
範囲は、第７図（ｂ）に示すように参照するベクトルの
示す方向がそれぞれに異なっているときに設定される。

第８図は、動ベクトルが所定探索範囲内の検出点が緻密
になっている場合を示す一例である。第９図は、動ベク
トルが所定探索範囲内の検出点が粗になっている場合を
示す一例である。第１０図は、動ベクトルが所定探索範
囲内の検出点が粗密になっている場合を示す一例である
。第１１図は、動ベクトルが所定探索範囲内の検出点が
任意の形状になっている場合を示す一例である。

次に前述した勤ベクトルの探索方法を実施する装置の一
構成例の動作について説明する。ここで構成する各部材
の参照番号は前述した第１図の部材と同じ参照番号を付
して説明する。

まず、動ベクトルを検出しようとするブロックデータが
入力すると、第１２図に示すような複数の隣接ブロック
３１からすでに検出された動ベクトル２をバッフ７メモ
リ１８より読出してくる。

そして、これらの動ベクトルパターンを参照動ベクトル
パターン量子化回路１９において、最もパターンの類似
したベクトルに置き換える。この置き換えによって、こ
の類似パターンに最適な動ベクトル探索範囲が選定され
る。そして探索パターンメモリ２０から最適な動ベクト
ル探索範囲に対応した探索するブロックの座標点（ｘ、
ｙ）のデータが読み出され、動き検出器１１にそのデー
タが伝送される。

そして前記動き検出器１１において、前フレーム４の各
参照ブロックの評価間数値が計算され、最小となるブロ
ックを見つけて動ベクトルを検出する。このとき前記評
価関数として現ブロックと前フレームの参照ブロックと
の画素毎の差分の絶対値和あるいは、差分の二乗和など
が想定される。

次に前記動き検出器１１によって、検出された動ベクト
ルは、符号化され受信側へ伝送されると共に、バッファ
メモリ１８にも一時的に格納される。

一方、前記可変遅延器１７によって、前記フレームメモ
リ１６からの前フレーム画像２７を検出した動ベクトル
を用いて動き補償を行う。そして前記可変遅延器１７か
ら補償されたブロック２８が減算器１２に入力され、こ
こで原画像ブロック２１と補償されたブロック２８との
差分を算出した後、前記量子化器１３によって、その差
分を量子化して、復号器１４と出力端に符号化出力する
。

そして前記復号器１４は、符号化出力を復号し、すなわ
ち、量子化された差分値２４を復号して加算器１５に伝
送する。

前記加算器１５は、復号された差分値２５と前記補償さ
れたブロック２８とが加算されて復号画像２６を再生し
、その復号画像２６がアレームメモリ１６に格納される
。

このようにして、隣接するブロックの動ベクトルから符
号化ブロックの動きを推定し、その動きを検出するのに
適した探索範囲を探索パターンメモリ２０から選択する
ので効率の良い探索が行える。

また、探索範囲をブロックマツチングをとる座標で示し
ているので検出点の配置を任意の形状、密度で設定する
ことができ、探索パターンとして前記探索パターンメモ
リ２０に格納されている。

また前記探索パターンメモリ２０のＲＯＭを交換するこ
とによって、格納された内容の設定を変更することがで
き、その設定の仕様によって、動ベクトルの検出精度を
制御することができる。また前記探索パターンメモリ２
０が、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒ
ａｓｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲｅａｄＯｎ
ｌｙ　Ｍｅａ＋ｏｒｙ　）であれば、装置に装着した状
態（オンボード）で電気的信号により、内容の書換えを
行うことが容易にできる。

第１３図は、本実施例における参照動ベクトルの設定方
法の他の一例である。すなわち、前フレーム２７の動ベ
クトル２を参照して、探索パターンを選択することがで
きる。このような時間的要素を取り入れた３次元の動ベ
クトルを参照したほうがより精度良く、効率良く動ベク
トルを検出することができる。

また本発明は、前述した実施例に限定されるものではな
く、他にも発明の要旨を逸脱しない範囲で種々の変形や
応用が可能であることは勿論である。

〔発明の効果〕

以上詳述したように本発明によれば、固定された探索範
囲に限られることなく、動ベクトルの動きの推定結果に
基づいて、動ベクトル探索範囲が最適するように応動す
る動ベクトル検出方法を提供することができる。

【図面の簡単な説明】

第１図は本発明の一実施例に係る動ベクトルの探索装置
の一構成例を示すブロック図、第２図は探索範囲の座標
点によるブロック位置の構成例を示す図、第３図は現ブ
ロックと参照する動ベクトルのブロック位置の関係の一
例を示す図、第４図（ａ）、（ｂ）乃至第１１図は探索
範囲の設定例を示す図、第１２図は現ブロックと複数の
隣接ブロックの配置される位置を示す図、第１３図は本
実施例における参照動ベクトルの設定方法の一例の構成
を示す図、第１４図はブロックマツチング方法の原理図
としての一例を示す構成図、第１５図は多段階木探索（
トリーサーチ）方法を実施するための構成を示す図、第
１６図は全探索の検出点を示す図、第１７図は設定した
探索範囲を移動して探索する範囲の構成を示す図である
。１・・・現フレーム、２・・・動ベクトル、３・・・現
ブロック、４・・・前フレーム、５・・・同一位置ブロ
ック、６・・・探索範囲、７・・・参照ブロック、１１
・・・動き検出器、１２・・・減算器、１３・・・量子
化器、１４・・・復号器、１５・・・加算器、１６・・
・フレームメモリ、１７・・・可変遅延器、１８・・・
バッファメモリ、１９・・・パターンベクトル量子化器
、２０・・・探索パターンメモリ、２１・・・原画像ブ
ロック、２２・・・動ベクトル、２３・・・差分値、２
４・・・符号化出力信号、２５・・・復元された差分デ
ータ、２６・・・復号画像、２７・・・前フレーム、２
８・・・動き補償されたブロック、２９・・・参照動ベ
クトル。

Claims

【特許請求の範囲】

（１）画像データを複数のブロックに分割し前フレーム
と現フレームの間で、ブロック毎に動きを示す動ベクト
ルを検出するブロックマッチング手法によった動ベクト
ル検出方法おいて、検出すべき動ベクトルの探索範囲を参照するブロックの
座標点（Ｘｎ、Ｙｎ）の集合として、すでに検出済みの
複数のブロックの動ベクトルから探索範囲の多数の動ベ
クトルパターンを形成する工程と、前記動ベクトルパターン形成工程により、新たな入力ブ
ロックデータが入力された時に、所定動ベクトル探索範
囲に対応した探索ブロックの所定最適パターンである動
ベクトルパターンを読出し、前フレームの各参照ブロッ
クの評価関数値が最小となるブロックを見い出して動ベ
クトルを検出する動ベクトル検出工程とを特徴とする動
ベクトル検出方法。
（２）前記動ベクトルパターンを形成する工程が、前記
動ベクトル検出工程から検出された所定の動ベクトルを
参照動ベクトルとして格納する工程と、前記格納工程による参照動ベクトルを量子化する参照動
ベクトル量子化工程と、前記参照動ベクトル量子化工程からの量子化結果（Ｖ、
Ｑ）により、前記所定最適パターンを選択する工程とで
構成されることを特徴とする請求項（１）記載の動ベク
トル検出方法。
（３）画像データを複数のブロックに分割し前フレーム
と現フレームの間で、ブロック毎に動きを示す動ベクト
ルを検出するブロックマッチング手法によった動ベクト
ル検出装置において、検出すべき動ベクトルの探索範囲を参照するブロックの
座標点（Ｘｎ、Ｙｎ）の集合として、すでに検出済みの
複数のブロックの動ベクトルから探索範囲の多数の動ベ
クトルパターンを形成する手段と、前記動ベクトルパターン形成手段により、新たな入力ブ
ロックデータが入力された時に、所定動ベクトル探索範
囲に対応した探索ブロックの所定最適パターンである動
ベクトルパターンを読出し、前フレームの各参照ブロッ
クの評価関数値が最小となるブロックを見い出して動ベ
クトルを検出する動ベクトル検出手段とを具備すること
を特徴とする勤ベクトル検出装置。
（４）前記動ベクトルパターンを形成する手段が、前記
動ベクトル検出手段から検出された所定の動ベクトルを
参照動ベクトルとして格納する手段と、前記格納手段による参照動ベクトルを量子化する参照動
ベクトル量子化手段と、前記参照動ベクトル量子化手段からの量子化結果（Ｖ、
Ｑ）により、前記所定最適パターンを選択する手段とで
構成されることを特徴とする請求項（３）記載の動ベク
トル検出装置。