JPH0423594A - 画像の動き検出方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） この発明は動画像の信号処理、特にフレーム間予測にお
ける動き補償のための画像の動き検出方法に関するもの
である。

（従来の技術） 従来、動画像の高能率符号化においては符号化効率の改
善のためにフレーム間予測を用いることがある。単純な
フレーム間予測による動画像の符号化伝送は前画面との
差異、っ捷り画像の変化した部分を符号化伝送する方式
である。従って、フレーム間予測符号化は静止画像に対
する符号化効率は非常に高いが、動きの大きい画像に対
する符号化効率は大幅に低下する。これを克服するため
に、動きの速さおよび方向に適応した予測すなわち動き
補償フレーム間予測が必要となる。

動き補償フレーム間予測を行うためには、入力画像の動
き、すなわち画面内の被写体がどちらの方向にどれだけ
動いたかを検出、つまり動きベクトルを検出する必要が
ある。例えば、「画像伝送における高能率符号化技術」
（株式会社トリケップス（昭和６２−３−３１Ｐ、２１
７−２２１　）に、ブロック単位で動きベクトルを検出
する１ブロックマツチング方式°”およびその演算量の
削減を目的とした゛多段階動ベクトル検出の原理”につ
いて説明されている。

ブロックマツチング方式による動きベクトルの検出とは
、第２図に示すようにこれから符号化し、１：つ、！ニ
ーするフレーム内のブロックＡと符号化済みの前フレー
ム内に存在する最も一致するブロックＢを求めることで
ある。ここでブロックサイズをｍライン×ｎ画素、動き
ベクトル探索範囲を±Ｊシラインフレーム・±に画素／
フレームトスると、総数（２Ｊ＋１）・（２に＋１）通
りの試行ベクトルに対して、ブロック内の全画素のフレ
ーム間差分の絶対値または２乗値を求め、それらの総和
の大小より評価する。すなわち各試行ベクトルについて
、ブロック内組画素のフレーム間差分の絶対値または２
乗値の総和を比較して、最少であった試行ベクトルのブ
ロックが最も一致するブロック°゛と判定されるのであ
る。

このように、ブロックマツチング方式によシ１ブロック
当りの動きベクトルを求めるための演算総数は、差分演
算、・差分結果の絶対値演算および累積演算が必要であ
り （２Ｊ＋１）Ｘ（２に＋１）Ｘ（ｍＸｎ）Ｘ３回となる
のである。

ここで、このブロックマツチング方式の動き検出回路の
構成例を第３図に示して説明を追加する。

１は現フレームの輝度信号を記憶するメモリ回路（以下
現フレームメモリという）、２は１フＶ　−入時間前の
前フレーム輝度信号を記憶する別のメモリ回路（以下前
フレームメモリという）、３は現フレームメモリ１およ
び前フレームメモリ２より読み出された輝度信号Ｐ、Ｑ
の差分を画素毎に求める差分演算回路、４はその差分Ｒ
の絶対値を求める絶対値回路、５はその絶対値Ｓの１ク
ロック分の和を累計する累計回路である。６は累計結果
Ｔを格納するレジスタであるが、各試行ベクトル毎に前
回の結果と大小比較回路７により判定し、前回よシ小さ
い場合のみその値を格納すべく、クロック発生回路８が
書き込みクロックを発生しレジスタ６の内容が最小値に
更新されていくのである。

９はアドレス発生回路であり、動きベクトルを検出しよ
うとするブロック内の全画素のデータを読み出すべくア
ドレスを発生し現フレームメモリ１に供給すると同時に
、前フレームメモリ２へは試行ベクトル発生器１０が発
生する試行ベクトル分だけ、アドレス移動回路１１によ
り平行移動したアドレスが供給される。

０（ゼロ）ベクトルを含む何通りかの試行ベクトルに対
してフレーム間差分の絶対値の累計を求めると、その累
計値が前述のごとく前回までの試行ベクトルに対する場
合よりも小さい場合のみ、クロック発生回路８が書き込
みクロックを発生するため、最後には、最も一致したベ
クトルが最適ベクトル記憶レジスタ１２に格納され、端
子１３より動きベクトルを出力する。

こうして、ブロックマツチング方式により、動き検出を
行うことができるのであるが、探索範囲内のとシうるす
べての試行ベクトルに対して、やみくもに探索を実行す
ると、動きベクトル探索範囲が±Ｊシラインフレーム・
±に画素／フレームの場合、総数（２Ｊ＋１　）・（２
に＋１）通シの試行ベクトルが存在し、探索範囲を、±
７ライン／フレーム・±７画素／フレームに限定しても
試行回数は２２５回にもなる。

多段階ベクトル検出法は、この試行回数を削減する一方
法であり、第４図に多段階ベクトル検出の原理を３段階
検出を例に示す。

まず、第１段階では、例えば動き補償無しと等価なＯ（
ゼロ）ベクトルを中心に図示のように配置された８つの
代表試行ベクトルを定め、この試行ベクトルに対して、
前述のブロックマツチングにより、最も類似度の高いベ
クトルを検出し、これを仮の動きベクトル（Ｖｌ）とす
る。第２段階では、求めるべき真の動きベクトルはこの
仮の動きベクトル周辺に存在するはずであると判断して
、この仮の動きベクトルを中心にして更に空間的に密な
８つの代表試行ベクトルを定め、ブロックマツチングに
よシ最も類似度が高いベクトルを検出し、これを第２の
仮の動きベクトル（ｖ２）とする。

第３段階は第２段階と同様な手順により第３のベクトル
（ｖ３）を検出し、求めるべき真の動きベクトル（Ｖ）
を得ることができる。

この例では、２５回の試行回数で±７ライン／フレーム
・±７画素／フレームの探索範囲の動きベクトルの検出
が可能であシ５前述のように、やみくもに試行した場合
と比較すると、試行回数を１／９に削減することができ
たわけである。

（発明が解決しようとする課題） しかし、以上述べたように、ブロックマツチングによる
動きベクトルの検出方法においては、膨大な演算量が必
要であり、メモリからの読みだしに要する時間からも、
実時間で探索できる範囲または試行ベクトル数が制限さ
れる欠点があった。

また、以上述べた演算量削減のための多段階ベクトル検
出法においては、第１段階において検出した最適ベクト
ルが、第１段階における候補の他の８ベクトルよシも真
のベクトルに近い保証はなく、第１段階において検出し
たベクトルの周辺に真のベクトルが存在しない場合があ
る。たとえば、工画素毎または１ライン毎に白黒白黒と
繰返すような空間周波数帯域が広い画質の場合等は、第
１段階のある試行ベクトルが真のベクトルに最も近くて
も、たまたま、真のベクトルと１画素または１ラインず
れていたために、大きなフレーム間差分が検出され、そ
の試行ベクトルは類似度が低いと判定されてしまい、別
の試行ベクトルが選ばれる。その場合は、第２段階およ
び第３段階の探索の甲斐なく、真の動きベクトルの検出
ができないという欠点があった。

この発明は以上述べた「ブロックマツチングによる動き
ベクトルの検出方法においては、膨大な演算量が必要で
あり、メモリからの読みだしに要する時間からも、実時
間で探索できる範囲または試行ベクトル数が制限される
欠点」と、「演算量削減のための多段階ベクトル検出法
においては、例えば３段階検出の場合、第１段階および
第２段階における誤判定により真のベクトル検出ができ
なく問題点」を同時に解決し、高速ながら正確な動きベ
クトルの検出を可能にする画像の動き検出方法を提供す
ることを目的とする。

（課題を解決するだめの手段） この発明は上記目的を達成するため、第１段階として空
間的に疎に配置された試行ベクトル中より類似度の高い
仮のベクトルをブロックマンチングで検出し、第２段階
で第１段階で検出された仮のベクトル周辺に第１段階の
場合よシも密に配置された試行ベクトル中より更に真の
ベクトルに近い仮のベクトルをブロックマツチングで検
出し、以下同様にして第Ｎ段階で真のベクトルを検出す
る多段階検出法による画像の動き検出方法において、入
力画像データの空間的な周波数帯域を対応する段階の試
行ベクトルの空間的な配置が疎になるほど制限するフィ
ルタと、前記フィルタからの画像データを対応する段階
の試行ベクトルの空間的な配置が疎になるほどサブサン
プル数を減じてサブサンプリングするサブサンプリング
手段と、前記サブサンプリングされた画像データをブロ
ックマッチングのための画像データとして記憶するメモ
リとを第Ｎ段階を除く各段階に対応してそれぞれ設け、
前記入力画像データをブロックマッチングのための画像
データとして記憶するメモリを第Ｎ段階に対応して設け
、前記各フィルタによる周波数帯域の制限、各ザブサン
プリング手段によるサブサンプリング、各メモリへの画
像データの書き込みと読み出しを各段階ごとに並行して
実行し、プロックマシ′チンダを行うものである。

（作用） 入力画像データは各段階のフィルタによシ対応する段階
の試行ベクトルの空間的間隔に応じて空間的な周波数帯
域を制限されブロックマツチングの対象とされる。これ
により、誤ったベクトルを選択する危険性が減り、真の
ベクトルを検出する精度が向上する。

また、各段階のフィルタにより空間的な周波数帯域を制
限された画像データは各サブサンプリング手段によシサ
プサンプリングをされ、ブロックマツチングの対象とさ
れる。このとき、サブサンプル数を対応する段階の試行
ベクトルの空間的間隔に応じて減らしているので、サブ
サンプリングをされた画像データを記憶するメモリ容量
を小さくすることができるとともに各段階におけるベク
トルの探索に要する時間を大幅に削減することができる
。

また、上記各メモリは各段階ごとに独立して設けている
ので、各段階でのベクトル探索を並行して実行できるの
でベクトル検出の高速化またはベクトル探索範囲の拡張
が可能となる。

（実施例） 第１図はこの発明の実施例を示す系統図であって、「ビ
デオ信号入力端子」１００からのビデオ信号入力は「空
間フィルタ（１）」ｌＯ１を介して第１段階用「現フレ
ームメモリ（１）」１０２に、「空間フィルタ（２）」
２０１を介して第２段階用［現フレームメモリ（、ｌり
　ｊ　２０２に、またそのまま第３段階用「現フレーム
メモ１月３）」３０２に書き込まれる。書き込まれる前
の「現フレームメモリ（１）」１０２、「現フレームメ
モリ（２）　ｊ　２０２および「現フレームメモ１月３
））」３０２のデータは同時に各々「前フレームメモ１
月１）」１０３、「前フレームメモリ（２）　ｊ　２０
３および「前フレームメモリ（３）」３０３にシフトさ
せるようにデータバスが設けられている。

「ブロックマツチング回路（１）」ｌＯ４、「ブロック
マツチング回路（２）」２０４、および［ブロックマツ
チング回路（，９）　Ｊ　３０４が各段階用の「現フレ
ームメモリ」から読み出されたデータと「前フレームメ
モリ」から読み出されたデータを受け、ブロックマッチ
ングのための類似度評価のためにフレーム間差分の絶対
値のブロック分の累計値演算を行う。

３００は「動きベクトル検出のための制御回路」であり
、各段階用に各ブロックのデータを「現フレームメモリ
」および「前フレームメモリ」から読み出すべく、それ
らのメモリ回路に読み出しアドレスを与える。すなわち
「動きベクトル検出のだめの制御回路」３００のＡｌ、
Ａ、？およびＡ３より各段階用の現フレーム読み出しア
ドレスが出力され、Ｂｌ、Ｂ２およびＢ３より各段階用
の前フレーム読み出しアドレスが出力される。

前フレームの読み出しアドレス（Ｂ　１　’）　ｔ（Ｂ
２）。

（Ｂ３）は各ブロックの各段階における動きベクトルの
探索毎に、その試行ベクトルに対して試行ベクトル分だ
けアドレスをシフトして出力され、「ブロックマツチン
グ回路（Ｊ）ｊｌｏ　４　、　ｒブロンクマッチング回
路（２）　ｊ　２０４　、および「ブロックマツチング
回路（３）」３０４は試行毎のフレーム間差分の絶対値
のブロック分の累計値を「動きベクトル検出のだめの制
御回路」３００のＣ１，Ｃ２Ｃ５に入力する。「動きベ
クトル検出のだめの制御回路」３００は試行毎にその累
計値を比較し、類計値の最も小さい試行ベクトルを検出
し、最も類似度の高いベクトルを決定する、いわゆるブ
ロックマツチングを実行する。

この実施例では、３段階ベクトル検出により動きベクト
ルを検出するが、第１段階においては、空間的に最も疎
に配置された仮の試行ベクトルについて、ブロックマツ
チングによる動きベクトル検出を行う。

試行ベクトルの配置を第５図の説明図に示す。

第１段階の試行ベクトルは第５図のように、０（ゼロ）
を中心として、４画素・４ライン間隔で４９点配置され
ている。

第２段階では、第１段階で最も類似度が高いと判断した
仮のベクトルｐを中心に、２画素・　２・ライン間隔に
配置された、中心を含む９点の試行ベクトルについて、
ブロックマツチングによす更に類似度が高いと判断でき
る仮のベクトルイを検出し、真のベクトルはＱの周辺に
存在する筈であると判断する。

第３段階では、Ｑを中心に中心を含んで１画素・１ライ
ン精度で９点のベクトルを評価し、例えば、Ｒの場合に
類似度が最高と判定され、真のベクトルＶが決定する。

この実施例においては、第１段階または第２段階で誤っ
た判定を行う可能性があるという従来の欠点を改良する
ために、第１段階用および第２段段用のフレーム間差分
を求める画素データの空間周波数帯域を制限すべく、「
ビデオ信号入山端子」１００と「現フレームメモリ」の
間に各々「空間フィルタ（１）」１０ノおよび「空間フ
ィルタ（２）　ｊ２０１が挿入されており、試行ベクト
ルが空間的に疎に配置されるほど帯域を制限すると同時
に試行ベクトルの空間的距離に対応させて画素データの
サンプル数も減らすようにしている。

第１段階用、第２段階用および第３段階用の「現フレー
ムメモリ」またはｒ前フレームメモリ」に書き込まれる
ビデオデータの空間的なサンプル点の配置を第６図の説
明図に示す。

先ず第１段階用のデータとして、周囲１６の×印で示さ
れる原信号のサンプル点に対して、１つの目印のサンプ
ルデータで代表する。すなわち、標本化定理を満たすべ
く空間周波数帯域を制限した後、水平方向には原信号４
画素、垂直方向には原信号４ラインからなる１６点に対
し、１点の割合でサブサンプルスル。

同様に、第２段階用のデータとして、周囲４の×印で示
される原信号のサンプル点に対し、１つの○印のサンプ
ルデータで代表する。すなわち、同様に標本化定理を満
たすべく空間周波数帯域を制限した後、水平方向には原
信号２画素、垂直方向には原信号２ラインからなる４点
に対し、１点の割合でサブサンプルする。

第３段階用には、Ｘ印で示した原信号を用いる。

第１段階や２段階の空間的に疎に配置された試行ベクト
ルのブロックマツチングのためには、ベクトルの配置の
精度に応じてデータの空間周波数帯域が制限されるため
、ベクトル検出の精度とデータの空間周波数帯域の不釣
合のために生じるベクトル誤検出が減少する筈である。

前述の１画素毎の白黒画像は、空間周波数帯域が制限さ
れた結果灰色データの意味をもつため、真のベクトルか
ら１画素ずれていても大きなフレーム間差分が検出され
ることはない。

また、第１段階および第２段階の１ブロツクあたりのサ
ンプル数が減ったおかげで、第１段階および第２段階用
のフレームメモリは容量が小さくてもよく、各々独立し
たメモリ回路を設けることの代価は多くはなく、この実
施例では、各段階用に独立したフレームメモリを設け、
その結果各段階の探索を並列処理することが可能でちる
。

ブロックあたりのサンプル数の削減は、同時に、ブロッ
クマツチングの評価のだめのフレームメモリからの、１
試行ベクトルらたシに必要な読み出し回数を削減するこ
とになる。

そのため、この実施例では第１段階の１試行ベクトルあ
たりの読みだし時間が従来の１／１６になることを利用
して探索範囲を大幅に拡張し、試行ベクトル数を４９点
に増やしても、探索時間は従来よりも短くなる。第７図
（Ａ）はこの実施例におけるベクトル検出に要する時間
を図示したものであシ、ｗ　１　、　ｗ　２　、・・・
はビデオデータをフレームメモリに書込む時間、ａｌ、
ａ２、・・・は第１段階におけるブロックマツチングの
ために、フレームメモリよりデータを読み出す時間、同
様にｂｌ、ｂ２、・・・およびｃｌ、ｃ２、・・・は第
２段階および第３段階におけるブロックマツチングのた
めにフレームメモリよりデータを読み出す時間であり、
ブロックマツチングのブロックの大きさが１６画素×１
６ラインの場合、ａｌは、１６Ｘ４９クロツクで、ｂｌ
は６４×９りｏツクで、ｃｌは２５６Ｘ９クロック分で
ある。

さらに、第７図（１１に示すように、第１段階、第２段
階、第３段階のブロックマツチングを時間的に並列処理
することができ、さらに高速に動きべクトルが検出可能
となる。

この場合は当然、第８図の系統図に示すように、第２、
第３段階用にはフレームメモリに書込むデータを各々、
ｄｌ、ｄ２遅延させるために、「遅延回路」２０５，３
０５を「ビデオ信号入力端子」１００と「現フレームメ
モリ」の間に挿入する。

（発明の効果） 以上、詳細に説明したように、この発明によれば、 （１）　　ブロックマツチングによる動きベクトルの検
出において、多段階検出法を改良して空間的に疎に配置
された試行ベクトルの類似度を評価する場合には、フレ
ーム間差分を求めるだめのビデオデータも空間的な周波
数帯域を制限してサブサンプリングするようにしたため
、第１段階および第２段階で誤ったベクトルを選択する
危険性が減シ、真のベクトルを検出する精度が向上した
ので、この発明による動きベクトル検出方法により検出
した動きベクトルを用いて、動画像高能率符号化におけ
る動き補償フレーム間予測を行うと、フレム間符号化の
効率が改善される（検出精度の向上）（２）　　また第
１段階における、ブロックマツチングに用いるビデオデ
ータのサンプル数が１／１６になったので、従来の技術
で説明した多段階検出法による場合と比較して第１段階
で探索可能な試行ベクトル数を同一時間内で１６倍にす
ることが可能となった。あるいは同一ベクトル数であれ
ば、１／１６の時間で探索できるようになった。この例
では、第１段階での試行ベクトルを４９に設定したにも
かかわらず第１段階、第２段階、第３段階と順次処理し
てもその合計処理時間であるメモリ読み出しサイクルは
ａ１＋ｂｌ十ｃ１であるので１６Ｘ４９＋６４．Ｘ９＋
２５６Ｘ９＝３６６４（サイクル）となり、従来の方法
で第１段階の試行ベクトル数９の場合のメモリ読み出し
サイクル ２５６Ｘ（９＋８＋８）−６４００（サイクル）と比較
すると、ベクトル探索範囲を面積的に４倍に広げること
が可能になった上、探索処理時間も約５７％に短縮され
た事になる（高速化）。

（３）　　ブロックマッチングのためのメモリを各段階
毎に独立して設けることによシ、第７図（Ｂ）で説明し
たように、第３段階のベクトル探索と並列して、次のブ
ロックの第１錯、第２卵伸がクト〃探索をおこなうごと
きパイプライン処理が可能となり、更なるベクトル検出
の高速化またはベクトル探索範囲の拡張が実現可能であ
る。

（４）第１段階、第２段階のブロックマッチングのため
のメモリの読みだしサイクル数を削減できたため、必要
とするメモリの小容量化・低速化に役立ち、コスト面で
も高集積化の面でも有益である。

なお、以上は多段階のブロックマツチングに関して、３
段階の例について説明してきたが、２段階、４段階その
他任意の段階について実現しても、同様の効果が期待さ
れることは説明するまでもない。

【図面の簡単な説明】

第１図は本発明の実施例を示す系統図、第２図第５図は
３段階ベクトル検出の説明図、第６図は各段階用画素デ
ータのサンプル点の説明図、第７図はベクトル検出に要
する時間の説明図、第８図は発明の第２の実施例を示す
系統図である。 １００・・・ビデオ信号入力端子、１０１，２０１・・
・空間フィルタ（１）、（２）、１０２．２０２．３６
２・・・現フレームメモリ（１）、（２）、（３）、１
０３　、２０３゜３０３・・・前フレームメモリ（１）
、（２）、（３）、１０４゜２０４．３０４・・・ブロ
ックマツチング回路（７）　、　（２）　。 （３）、３００・・・動きベクトル検出のだめの制御回
路、２０５　、３０５・・・遅延回路。 特許出願人−沖電気工業株式会社

Claims (1)

1. 【特許請求の範囲】 第１段階として空間的に疎に配置された試行ベクトル中
   より類似度の高い仮のベクトルをブロックマッチングで
   検出し、第２段階で第１段階で検出された仮のベクトル
   周辺に第１段階の場合よりも密に配置された試行ベクト
   ル中より更に真のベクトルに近い仮のベクトルをブロッ
   クマッチングで検出し、以下同様にして第Ｎ段階で真の
   ベクトルを検出する多段階検出法による画像の動き検出
   方法において、 入力画像データの空間的な周波数帯域を対応する段階の
   試行ベクトルの空間的な配置が疎になるほど制限するフ
   ィルタと、 前記フィルタからの画像データを対応する段階の試行ベ
   クトルの空間的な配置が疎になるほどサブサンプル数を
   減じてサブサンプリングをするサブサンプリング手段と
   、 前記サブサンプリングされた画像データをブロックマッ
   チングのための画像データとして記憶するメモリとを第
   Ｎ段階を除く各段階に対応してそれぞれ設け、 前記入力画像データをブロックマッチングのための画像
   データとして記憶するメモリを第Ｎ段階に対応して設け
   、 前記各フィルタによる周波数帯域の制限、各サブサンプ
   リング手段によるサブサンプリング、各メモリへの画像
   データの書き込みと読み出しを各段階ごとに並行して実
   行し、ブロックマッチングを行うことを特徴とする動き
   検出方法。