JP4252916B2 - 動きベクトルの探索範囲を決定する方法 - Google Patents

Description

本発明は、概して動きベクトルを用いて画像の予測符号化を行う予測符号化器に係り、さらに詳細には、予測符号化器などで使用される動きベクトル検出器のベクトル探索領域を決定する方法に関する。

近年、ディジタルテレビ、ＤＶＤなどの各種光ディスクの記録装置、インターネット上の動画配信やディジタルカメラの動画像蓄積などでは、動画像情報の圧縮符号化方式として、ISO/IEC（国際標準化機構の国際電気標準会議）によって標準化されたＭPEG(Ｍoviｎg Picture Experts groupの略でＭPEG-1/ＭPEG-2/ＭPEG-4などがある)やITU-T（国際電気通信連合の電気通信標準化部門）によって標準化されたH.261、H.262、H.264が多く適用されている。

これらの符号化方式では、時間的に連続であるフレーム間は相関性が高いという動画像の特性を利用した情報量の圧縮を行っており、その相関関係を求めるために符号化フレームの処理単位（マクロブロックと称し、ＭＢと略記する）毎に、符号化フレームと時間的に前後関係にある参照フレームとの間の動きベクトル検出を行っている。

その中で、動き符号化効率と符号化動画像の画質の向上が求められる一方で、上記符号化装置の小型化や携帯化により回路の低消費電力化の必要性も高まり、その両立が課題となっている。

特にベクトルの検出は、符号化処理の中でも処理演算量が最も多く、またその検出精度の高さが符号化効率と画質に大きく影響を与える。本発明は、その動きベクトルの検出技術に関する。

動きベクトルは、原画ＭＢと参照画領域内のデータ間の相関評価値演算を行い、その相関評価値の比較により検出される。相関評価値は、原画ＭＢの画素データと参照画領域からＭＢの形状に切り出された画素データの間で誤差がどの程度発生しているか表すものであり、差分絶対値累積和か差分２乗累積和などが用いられる。その相関評価値を図１９に示すように参照画内で画素単位にずらして求め、その相関評価値が最小値となる参照画内の位置が動きベクトルとして求められる。

この場合、問題になるのは、１フレームの参照画をどのような順序で探索するのが最も効率的かということである。つまり、原画ＭＢを参照画の四隅の１つから１画素ずつ水平に移動させ、１画素行ずつ垂直に移動する方法では、フレーム間の相関が全く考慮されていないので、極めて非効率的である。一般に、隣接するフレーム間の画像は動きが小さいと考えられるので、原画ＭＢの位置に対応する参照画の位置の中心とする比較的狭い領域の探索を行い、それで十分一致すると判断されるブロックが見つからない場合、探索領域を広げて探索することになる。問題はこの広げ方である。

さらに、動きベクトル検出の効率化のためには、この評価値演算において、いかに参照画データを効率良く相関評価値演算器に入力し、演算時間のロスを少なくすることがポイントになる。

出願人は、既にその演算の応答性を高める技術を「画像相関器」として開示している（特許文献１参照）。この特許文献１は、原画の方形の処理単位に対して、ベクトル探索を行う参照画領域(サーチウィンドウ)も一定の方形領域であればメモリアクセス、演算が効率的に行うことができる。

図２０は、特許文献１の画像相関器（即ち、動きベクトル検出器）の構成を示すブロック図である。図２０において、従来の画像相関器１は、原画像と参照画増を含む複数のフレームを格納するフレーム目盛り１０，フレームメモリ１０から得た原画ＭＢを格納する原画ＭＢ記憶部１２、フレームメモリ１０から得た参照画像探索領域を記憶する参照画領域記憶部１４、原画ＭＢ記憶部１２から原画ＭＢを遅らせタイミング調整して出力する原画遅延調整部１６、参照画領域記憶部１４から参照画領域をタイミング調整して出力するユニットデータタイミング調整部１８，および原画遅延調整部１６とユニットデータタイミング調整部１８からの画像データを基に同時にｎ（参照画像の探索領域の水平画素数）の画像相関評価値演算を行い動きベクトルを検出する動きベクトル照合部２０から構成される。例えば、図１９に示す原画ＭＢデータと参照画領域に対して、参照画領域記憶部１４から読み出した参照画データをユニットデータタイミング調整部１８でタイミング調整を行い、ｎ個の演算器(相関手段)に入力することにより、水平ｎベクトルの演算を同時に行い、それを各演算器が垂直方向のベクトル探索方向にｍ回繰り返すことにより水平ｎベクトル×垂直ｍベクトルの探索範囲の動きベクトル評価値演算を演算時間のロス無しに実現することができる。

ここで、動きベクトルの検出精度を上げるために動きベクトルの探索範囲をｎ×ｍベクトルからＮ×Ｍベクトル(Ｎ>ｎ、Ｍ>ｍ)まで拡大させようとすると、回路規模もしくは演算処理時間が(Ｎ×Ｍ)/(ｎ×ｍ)倍となる。

図２１は、従来の探索範囲拡大方法の一例を示す図である。図２１のように、Ｎ＝４*ｎおよびＭ=３*ｍとし、水平方向に４倍、垂直方向に３倍の探索範囲の拡大を行うと、演算処理量は１２（４*３）倍となる。この場合、上述の特許文献１と同様の回路構成で処理しようとすると、回路規模は４倍となり、処理時間は３倍となる。

また、探索範囲を拡大させるための手段として、図２２のように動きベクトル検出位置を予測して、その予測領域の周辺を探索する方法があるが、予測位置を誤った場合、動きベクトル誤検出の可能性が高くなる。

なお、検出精度を低下させることなく効率的に動きベクトルの検出を行うために、インターレース方式のビデオ信号において水平方向に対して垂直方向より強い特性でフィルタリングを行う技術が開示されている（特許文献２）。しかし、この方法は、演算対象となる基準ブロックと候補ブロック内の特徴量を抽出して、評価演算対象となる１ＭＢ中のサンプル画素数を削減して効率化を図るものである。したがって、動きベクトル検出の効率を追求する点では同じであるが、本発明のように探索範囲の拡大方法を工夫するというアプローチとは、課題の解決方法がかなり異なる。
特開平10-42298号広報（第５〜６頁、図１） 特開平07-212764号広報(第３頁、図１）

これまで述べたように、動きベクトルの探索範囲を拡大させようとした場合、演算処理量の拡大により、回路規模と消費電力増加が発生する。
また、単純に予測位置を限定してベクトル検出を行った場合、その検出結果の精度に問題がある。

本発明は、既に求めた動きベクトルの統計量の解析に基づき動きベクトルの探索範囲を決定することにより、演算量と回路規模の拡大を抑制しつつ広範囲のベクトル探索を行い高精度のベクトル検出が可能な動きベクトル検出方法、装置よおびプログラムを提供することを目的とする。

また、本発明は、動きベクトルの探索範囲を適切に拡大することにより、演算量と回路規模の拡大を抑制しつつ広範囲のベクトル探索を行い高精度のベクトル検出が可能な動きベクトル検出装置を用いた予測符号化器を提供することを目的とする。

上記の目的を達成するため、本発明は、参照画像と現在の原画像との間の動きベクトルを求めるために、原画像の処理中のマクロブロック（ＭＢ）に対応する位置を中心に設定された参照画像の探索領域をＭＢで照合探索する動きベクトル検出装置において、探索領域を決定する方法を提供する。本発明の探索領域を決定する方法は、探索領域を、当該領域を構成するのに適した探索ユニットの集合として構成できるような大きさ及び縦横比を有する探索ユニットを決定するステップと、処理中のＭＢの位置を中心に設定された原画像におけるベクトル情報読み出し領域または処理中のＭＢに対応する位置を中心に設定された参照画像におけるベクトル情報読み出し領域において既に求めた動きベクトルの統計量を求める統計計算ステップと、統計量を解析することにより動きベクトルの出現傾向を予測する解析ステップと、上記の解析に基づき、処理中のＭＢに対する動きベクトルの発生確率が大きくなる方向に拡張された探索領域が形成されるように、探索ユニットの組み合わせを決定する決定ステップとからなる。

統計計算ステップは、ベクトル情報読み出し領域において既に求めた動きベクトルのベクトル平均値およびベクトル分散値を計算するステップを含み、解析ステップは、ベクトル平均値およびベクトル分散値に対して予め設定された平均値閾値および分散値閾値に基づいて解析を行うステップを含む。

平均値閾値は、水平成分の左側閾値および右側閾値ならびに垂直成分の上側閾値および下側閾値からなり、分散値閾値は、水平成分の水平分散値閾値および垂直成分の垂直分散値閾値からなる。

解析ステップは、ベクトル平均値の水平成分と左側閾値および右側閾値との比較結果として、左、右および水平中央からなる水平分類を与えるステップと、ベクトル平均値の垂直成分と上側閾値および下側閾値との比較結果として、上、下および垂直中央からなる垂直分類を与えるステップとを含み、決定ステップは、水平分類および垂直分類に基づく方向に探索ユニットを拡張したユニットパタンを選択するようにしてもよい。

好ましい実施形態では、解析ステップは、ベクトル平均値の水平成分と左側閾値および右側閾値との比較結果として、左、右および水平中央からなる水平分類を与えるステップと、ベクトル平均値の垂直成分と上側閾値および下側閾値との比較結果として、上、下および垂直中央からなる垂直分類を与えるステップと、ベクトル分散値の水平成分が水平分散値閾値より大きいか否かを表す水平分散判定値と、ベクトル分散値の垂直成分が垂直分散値閾値より大きいか否かを表す垂直分散判定値とを求めるステップと、水平分類と水平分散判定値との組み合わせから動きベクトルの水平方向の出現傾向が右側、中央および左側の何れかで表わされる水平成分傾向と、垂直分類と垂直分散判定値との組み合わせから動きベクトルの垂直方向の出現傾向が上側、中央および下側の何れかで表わされる垂直成分傾向とを求めるステップとからなり、判断ステップは、水平成分傾向と垂直成分傾向との組み合わせにより決定される方向に探索ユニットを拡張したユニットパタンを選択する。

原画像の処理済みのＭＢや前処理フレームのＭＢ対応位置周辺のベクトルデータを用いた統計処理により動きベクトルの発生傾向に基づいたユニットパタンの選択を行うことにより、同じ処理演算量における検出精度を向上させることが可能になる。

処理ユニット数を処理フレーム内で可変に制御することにより、1フレーム全体の演算処理の中でより検出精度が高く要求されるフレーム内の部分へ多くの演算量を割り当てる調整が可能になり、符号化画像の画質向上させることができる。

以下、本発明の実施形態と添付図面とにより本発明を詳細に説明する。なお、複数の図面に同じ要素を示す場合には同一の参照符号を付ける。
図１は、本発明により動きベクトルを検出し動画像の予測符号化を行う予測符号化装置の構成を概念的に示す略ブロック図である。図１において、予測符号化装置３は、符号化される動画像および一旦符号化したのち再び復号した動画像を複数フレーム分格納可能なフレームメモリ１０とともに使用される。予測符号化装置３は、本発明によりフレームメモリ１０に格納された符号化されるフレーム（原画像と称する）と一度符号化され復号されたフレーム（参照画像と称する）とから動きベクトルを求める動きベクトル検出器２、動きベクトル検出器２の出力を用いてフレームメモリ１０内の一度符号化された画像の動き補償を行う動き補償器３７、符号化される動画データと動き補償器３７からの動き補償されたフレームデータの差をとる減算器３１、減算器３１の出力にＤＣＴ（離散コサイン変換）を行うＤＣＴ回路３２、ＤＣＴ回路３２の出力を量子化する量子化器３３、量子化器３３の出力を逆量子化する逆量子化器３４、逆量子化器３４の出力の逆ＤＣＴ変換を行う逆ＤＣＴ回路３５、および逆ＤＣＴ回路３５の出力と動き補償器３７の出力とを加算する加算器３６からなる。

予測符号化装置３の構成要素のうち、本発明の動きベクトル検出器２以外は、通常の公知の要素でよい。換言すれば、本発明の動きベクトル検出器２は、動きベクトルを用いて予測符号化を行う装置であれば、いかなる形態の予測符号化装置にも適用することができる。

次に、予測符号化装置３の動作を説明する。図１において、符号化される動画像データは、減算器３１の被減算端子ａに入力されるとともに、フレームメモリ１０に格納される。本発明の動きベクトル検出器２は、詳細に後述するように本発明の原理により、連続処理されるフレームＰｉとＰｊとの間の動きベトクルＶijを求め、動き補償器３７に供給する。動き補償器３７は、フレームメモリ１０に格納されている一度符号化された画像(即ち、参照画像Ｐｉ´)データを動きベクトル検出器２からの動きベクトルＶijに基づいて動き補償する。この動き補償された画像(以下、「動き補償参照画像ＭＣＰｉ」)は、減算器３１に供給されると共に、加算器３６にも供給される。減算器３１は、現フレームである原画像Ｐｊから動き補償器３７で参照画像を動き補償した動き補償参照画像ＭＣＰｉを差し引いて、差分データΔＰji（＝Ｐｊ−ＭＣＰｉ）を求める。この差分データΔＰjiは、ＤＣＴ回路３２に供給され、ＤＣＴ変換される。ＤＣＴ装置３２の出力は、量子化器３３に供給され、量子化される。この量子化器１０８の出力は予測符号化装置３の出力として使用される。

また、ＤＣＴ変換され、量子化された差分データは、逆量子化器３４および逆ＤＣＴ回路３５に供給されて元の差分データ（「復元差分データΔＰji´」と称する）に戻され、加算器３６に供給される。加算器３６は、動き補償器３７からの動き補償された参照画像、即ち、動き補償参照画像ＭＣＰｉに、逆ＤＣＴ回路３５からの復元差分データΔＰji´を加算して、現フレームの画像データ（即ち、新たな参照画像Ｐｊ´）を求める。求められた現フレームの画像データは、次の参照画像として、フレームメモリ１０に格納される。

このように、予測符号化装置３においては、動きベクトルＶijに基づいて動き補償された動き補償参照画像ＭＣＰｉと、現フレームＰｊとの差分データΔＰjiが符号化される。次に、本発明による動きベクトル検出器２を説明する。

図２は、本発明の一実施形態により統計的情報に基づいて信頼性の高い探索範囲を決定し効率的な動きベクトル検出を行う動きベクトル検出器の構成を示す略ブロック図である。図２において、本発明の動きベクトル検出器２は、既に処理を行ったＭＢごとに動きベクトルおよび相関評価値の最小値などの処理結果を記憶するベクトル・評価値データ記憶部４０、ベクトル・評価値データ記憶部４０から任意のＭＢ位置の処理結果を読み出し、読み出した結果の統計的処理を行い、探索の拡張方向を決定し探索範囲のユニットパタンを決定するユニットパタン決定／制御部５０，およびユニットパタン決定／制御部５０で決定された演算ユニットパタンおよびユニット数に従って、ユニット毎に参照画の読み込み領域を決定し、その参照画領域をフレームメモリから内部の参照画領域記憶手段に読み込むための制御を行い、また各ユニットのベクトルの発生パタンを動きベクトル照合部２０に指示する演算ユニットパタン制御部６０から構成される点を除けば、図２０の従来の動きベクトル検出器１と同じである。以下、本発明に特徴的なベクトル・評価値データ記憶部４０、ユニットパタン決定／制御部５０および演算ユニットパタン制御部６０を中心に説明する。

ベクトル・評価値データ記憶部４０は、処理を行ったＭＢごとに動きベクトルや相関評価値の最小値などの処理結果を格納する記憶部分で、例えば、ユニットパタン決定／制御部５０の内部記憶を用いてもよい。ユニットパタン決定／制御部５０は、探索範囲を決定するユニットパタンを決定するだけでなく、動きベクトル検出器２全体の制御も行う。過去の処理結果である動きベクトルを統計的に処理したもの（例えば、動きベクトルの平均値／最大値／最小値）と相関評価値最小値などから解析を行い、よりベクトル発生率の高い方向へ探索領域を拡張するようにユニットパタンを決定する。演算ユニットパタン制御部６０は、ユニットパタン決定／制御部５０で決定され、指示されたユニット位置情報に従って、ユニット毎に参照画の読み込み領域を決定し、その参照画領域をフレームメモリ１０から内部の参照画領域記憶部１４に読み込むための制御を行い、また各ユニットのベクトルの発生パタンを動きベクトル照合部２０に指示する。ユニットパタン決定／制御部５０以外は、一般にハードウェアで実現されるが、ユニットパタン決定／制御部５０は、記憶装置に格納されたプログラムの制御下で動作するマイクロコンピュータで構成することが望ましい。

本発明によれば、動きベクトルの特性として時間的相関や空間的相関が高いことに注目し、算出されたベクトル情報を記憶するベクトル・評価値データ記憶部４０を備え、時間的に直前に処理されたフレームのベクトル情報や、処理を行うＭＢと同ーのフレーム上の周辺ＭＢのベクトル情報を記憶部４０から読み出して統計的に動きベクトルの出現傾向を予測し、ベクトル探索をベクトル出現傾向の高い方に集中して行う。
＜発明の原理＞
図３は、本発明による探索領域拡大の基本概念を示す図である。まず、本発明によれば、図５に示すように、参照画像を探索する最小単位としてｎ×ｍ画素の探索ユニット（または演算ユニット）を考える。参照画像における探索領域は探索ユニットを組み合わせで構成される。

例えば、動画像を捉えるカメラの動きを考えた場合、水平方向か垂直方向のパニングの動きが多く、斜め方向のベクトルが出現する確率は低いという特性から、斜め方向のベクトル演算処理量をカットすることにより、より優先度の高い方向に重みをつけて動きベクトルの探索範囲を決定する。例えば、図３では、参照画領域として原画ＭＢ位置を中心とした水平4ユニット、垂直2ユニットの組み合わせている。これにより、ｎ×ｍ探索領域の6倍の演算処理量拡大でほぼＮ×Ｍベクトルの範囲のベクトル探索が高い精度でカバーできる。

なお、基本的なユニット構成は、図３の太線で囲んだ領域に示すように原画ＭＢに対応する位置を中心として左右２ユニット０，１および上下２ユニット２，３からなる４つのユニット０〜３からなる横長太十字形状を構成する。ユニットには探索する優先順位により番号が振られているので、ユニット番号の順に探索を行う。以下、動きベクトル検出器２の動作を詳細に説明する。

なお、探索ユニットの大きさ及び縦横の比は探索領域を構成するのに都合のよいように決定することが好ましい。
＜一実施形態＞
図４は、図２の動きベクトル検出器２の動作を説明するための図であり、図４（ａ）は動きベクトル検出器２が原画像の各ＭＢに対して行う動作を示すフローチャートであり、図４（ｂ）は、この動作のタイムチャートである。図４（ａ）を中心に説明する。図４において、まず、動きベクトル検出器２が、ステップ５１０において、ベクトル・評価値データ記憶部４０からベクトル情報を読み出す。図５および６は、この時読み出し対象となるＭＢの領域を示す図である。図５は、原画像の処理済みの（動きベクトルを算出済みの）領域（ベクトル情報読み出し領域）のＭＢに関する情報を読み出す例であり、図６は、既に処理済みの参照画像における原画ＭＢに近いＭＢ（ベクトル情報読み出し領域）に関する情報を読み出す例である。

次に、ユニットパタン決定／制御部５０は、詳細に後述するように、統計処理を行い（ステップ５２０）、ベクトル発生傾向を予測して（ステップ５３０）、ユニットパタンを決定して（ステップ５４０）、決定したユニットパタンを演算ユニットパタン制御部６０に知らせる。

一方、ベクトル検出部３０においては、ステップ３００において、処理すべき原画ＭＢのデータを原画ＭＢ記憶部１２から原画遅延調整部１６に読み込む。次に、ステップ３０２において、演算ユニットパタン制御部６０は、ユニットパタン決定／制御部５０から通知された探索ユニットのうち現在処理すべき探索ユニットの参照画像における読み込み位置を決定する。ステップ３０４において、参照画領域記憶部１４の上記の決定された位置から現在処理すべき探索ユニットをユニットデータタイミング調整部１８に読み込む。次に、動きベクトル照合部２０は、ステップ３０６において、原画ＭＢと参照画像の現在の探索ユニットとの間で照合演算を行い、ステップ３０８において、現在のユニット内の評価値を比較し、動きベクトル候補を決定する。判断ステップ３１０において、ユニットパタン決定／制御部５０から通知された全ての探索ユニットについて処理が終了したか否かを判断する。終わっていなければ、ステップ３０２に戻り、終了した場合、ステップ３１２に進み、現在のＭＢの動きベクトルを決定し、ステップ３１４において、求めた動きベクトルを出力して、このＭＢに対する処理を終了する。

ここで、ステップ５２０〜５４０において、本発明により探索ユニットパタンを決定する処理を詳細に説明する。つまり、基本ユニット構成からユニットを上下左右斜めの何れの方向に拡張するかを決定する方法を説明する。なお、以下の説明において、説明を簡単にするために、統計処理に用いる情報は、図６に示すような参照画像またはそれ以外の処理済みフレームのベクトル情報読み出し領域内のＭＢの動きベクトルに関するものを使用することにする。勿論、現在の処理フレームのベクトル情報読み出し領域のＭＢに関する情報を統計処理に用いてもよい。

まず、ステップ５２０の統計処理において、例えば、参照画像の原画像ＭＢ対応位置周辺に設定されたベクトル情報読み出し領域に対して求められた動きベクトルの平均および分散を計算する。図７は、図５または６に示したベクトル情報読み出し領域に対して求めた動きベクトルの平均および分散を示す。図７では、動きベクトルの水平成分および垂直成分の平均をそれぞれAvr-VecHおよびAvr-VecVで表し、動きベクトルの水平成分および垂直成分の分散をそれぞれVar-VecHおよびVar-VecVで表す。分散値は、平均値と各動きベクトルとの差分絶対値和または差分二乗和で求められる。

次に、ステップ５３０において、動きベクトルの発生傾向を予測する。図８は、平均値および分散値の解析に用いる平均値判定閾値（ａ）および分散値判定閾値（ｂ）を示す。即ち、図８に示すように、平均値判定閾値としては、左側および右側に対応する水平成分判定閾値BAHLおよびBAHR、ならびに上側および下側に対応する垂直成分判定閾値BAVUおよびBAVDを予め設定し、ユニットパタン決定／制御部５０の図示しないＲＯＭ（read only memory）に格納しておくことが好ましい。また、水平成分よおび垂直成分の分散値判定閾値BVHおよびBVVを予め設定し、上記ＲＯＭに格納しておくことが好ましい。

ステップ５２０で求めた平均値および上記４つの平均値判定閾値を用いて、水平成分平均値Avr-VecHが水平成分閾値BAHLおよびBAHRの左側、中央、または右側の何れかに該当するかを判断し、かつ垂直成分平均値Avr-VecVが垂直成分閾値BAVUおよびBAVDの上側、中央、または下側の何れかに該当するかを判断する。この判断の様子を図９（ａ）に示す。図９（ａ）では、水平成分平均値Avr-VecHが、水平成分閾値BAHLより左（小さい）ならばＡＨＬと表し、閾値BAHRより右（大きい）ならばＡＨＲと表し、BAHLとBAHRの間ならばＡＨＣと表して、区別している。同様に、垂直成分平均値Avr-VecVが、垂直成分閾値BAVUより上（垂直座標が下に向かって増大する場合、小さい）ならばＡＶＵと表し、閾値BAVDより下（垂直座標が下に向かって増大する場合、大きい）ならばＡＶＤと表し、BAVUとBAVDの間ならばＡＶＣと表して、区別している。

また、ステップ５２０で求めた分散値および上記２つの分散値判定閾値を用いて、大小を比較する。即ち、図９（ｂ）に示すように、水平成分分散値Var-VecHが、閾値BVH以下ならばＶＨＨで表し、閾値BVHより大きいならばＶＨＬで表す。同様に、垂直成分分散値Var-VecVが、閾値BVV以下ならばＶＶＨで表し、閾値BVHより大きいならばＶＶＬで表す。

図１０は、図９の表に基づいて行った平均値解析および分散値解析の結果を用いて動きベクトル出現傾向予測を行うための傾向予測表である。図１０において、水平成分の平均値解析結果ＡＨＬ、ＡＨＲ、ＡＨＣと水平成分の分散値解析結果ＶＨＨ、ＶＨＬとの組み合わせにより水平成分傾向を決定し、垂直成分の平均値解析結果ＡＶＬ、ＡＶＲ、ＡＶＣと垂直成分の分散値解析結果ＶＶＨ、ＶＶＬとの組み合わせにより垂直成分傾向を決定する。例えば、水平成分の平均値解析結果がＡＨＬ（水平成分平均値Avr-VecHが平均判定閾値BAHLより左である）であり、かつ分散値解析結果がＶＨＨ（水平成分分散値Avr-VecHがBVH以下である）ならば、水平成分傾向は「左側」となる。同様に、水平成分に関して、平均値解析結果がＡＨＲで分散値解析結果がＶＨＨならば水平成分傾向は「右側」となり、平均値解析結果がＡＨＣであるか、または分散値解析結果がＶＨＬであるならば水平成分傾向は「中央」となる。さらに、垂直成分に関して、平均値解析結果がＡＶＵで、分散値解析結果がＶＶＨならば、垂直成分傾向は「上側」とり、平均値解析結果がＡＶＤで分散値解析結果がＶＶＨならば垂直成分傾向は「下側」となり、平均値解析結果がＡＶＣであるか、または分散値解析結果がＶＶＬであるならば垂直成分傾向は「中央」となる。

次に、ステップ５４０において、図１０の傾向予測表の水平成分傾向（単に、水平傾向と称する）と垂直成分傾向（単に、垂直傾向と称する）との組み合わせから図１１のユニットパタン決定表に基づいて、ユニットパタンを決定する。即ち、ユニットパタン決定表において、垂直傾向が中央の場合、水平傾向の側に拡張する（ユニットパタン１および２）。水平傾向が中央の場合、垂直傾向の側に拡張する（ユニットパタン３および４）。これら以外の場合、水平傾向と垂直傾向の組み合わせに従って拡張する。例えば、水平傾向が左側で、垂直傾向が上側であるならば、左上に拡張する（ユニットパタン５〜８）という具合である。図１１から分かるように、水平傾向と垂直傾向がともに「中央」である場合、探索ユニット拡張を行う必要はないので、基本ユニット構成のままでよい。

図１２〜１５にユニットパタンの例を示す。図１２において、ユニットパタン１は左拡張の例であり、ユニットパタン２は右拡張の例である。図１３において、ユニットパタン３は上拡張の例であり、ユニットパタン４は下拡張の例である。図１４において、ユニットパタン５は、基本ユニット構成に左上拡張を行った例であり、ユニットパタン８は、基本ユニット構成に右下拡張を行った例である。斜め方向への拡張を行う場合、基本ユニット構成をそのまま拡張する代わりに、例えば、図１５のユニットパタン５および８に示したように、ユニット２および３をユニット０および１と上下に整列させてから、斜め方向の拡張を行ってもよい。

図１２〜１５に例示したようなユニットパタン１〜８を予め定義しておき、ステップ５４０におけるユニットパタン決定表を用いたユニットパタン決定結果に基づいてユニットパタン１〜８の中から選択してもよいし、ユニットパタン決定結果に基づいて、基本ユニット構成を所定のユニット数だけ拡張してもよい。

このようにして決定したユニットパタンに基づいて、既に述べたように図４のステップ３００から３１４までの処理により、動きベクトルを求めることができる。
＜処理ユニット数の制御＞
さらに、本発明によれば、ユニットパタン決定／制御部５０は、演算または探索ユニットパタンに加えて、処理ユニット数を決めて演算ユニットパタン制御部６０に出力することができる。

既に述べたように、図３および図１２〜１５に示すようにユニット処理の優先順位が決められていて、UＮIT０、UＮIT１、UＮIT２、・・・の順でユニットの処理を行う。ステップ５４０のユニットパタン決定処理において決定されたユニットパタンのユニット数がユニットパタン決定／制御部５０により指定された処理ユニット数を超えている場合、指定された処理ユニット数の処理終了時点でそのＭＢの動きベクトルを決定する。図１８は、処理ユニット数が５の場合で、本来のユニット数が６であったユニットパタン１が、指定された処理ユニット数で制限されて、探索範囲が縮小した例を示す。逆に、図１７に示すように、指定された処理ユニット数が７である場合、ユニットパタン１は、１ユニット分拡張され、探索範囲が拡大する。

なお、指定される処理ユニット数は、通常、動きベクトル検出器２がその処理ユニット数で動きベクトル検出処理を継続できる範囲の数に限られる。
また、このような処理ユニット数の制御を図１６に示すように、同ーフレーム内において画面の上端や下端付近で処理ユニット数に制限をかけ、それにより生じた演算能力の余剰分を画面の中央付近に割り当てられるように制御を行ってもよい。図１６の例では、画面の上の２処理ラインと下の３処理ラインでは、処理ユニット数を５に制限し、それ以外の部分は処理ユニット数を７に設定している。

また、1フレーム内に限らず、数フレーム間で処理能力の分配を行うことも可能である。すなわち、動きが少ないと予想されるフレームには予め少ない処理量を割り当て、その分の余剰処理能力を他のフレームの処理に割り当ててもよい。原画像の動きが多いか少ないかの予測は、直前のフレームの全体の統計に基づいて行うことができる。
＜種々の変形＞
以上は、本発明の説明のために実施例を掲げたに過ぎない。したがって、本発明の技術思想または原理に沿って上述の実施例に種々の変更、修正または追加を行うことは、当業者には容易である。

例えば、上述の例においては、探索領域を構成する探索ユニットの隣接するユニットどおしは互いに一定の幅だけ重複していたが、必ずしもユニットどおしを重複させる必要はない。

上記の実施形態では、探索ユニットごとにステップ３０８において動きベクトル候補を決定（選択）したが、ステップ３０８においては動きベクトルの候補の選定を行わず、代わりに、ステップ３１２において全ての探索ユニットで求めた評価値を比較することにより動きベクトルを求めてもよい。

また、上記の実施形態では、ユニットパタン決定／制御部５０により決定されたユニットパタンまたは処理ユニット数の全てのユニットを探索したが、現在探索中のユニットにおいて、所定の判断基準により十分信頼するに足る動きベクトル候補が発見された場合、その動きベクトル候補を動きベクトルと判断し、現在の原画ＭＢに対する動きベクトル検出処理を終了するようにしてもよい。

上述のステップ５２０および５３０においては、統計情報としてベクトル情報読み出し領域内の既に求めた動きベクトルの平均値および分散値のみを用いた。しかし、分散値がある程度以上大きい場合、動きベクトルのバラツキが大きいことになるので、平均値はあまり意味をなさなくなる。このような場合は、最大値、最小値またはこれらの両方を用いてもよい。

（付記１）参照画像と現在の原画像との間の動きベクトルを求めるために、前記原画像の処理中のマクロブロック（ＭＢ）に対応する位置を中心に設定された前記参照画像の探索領域を前記ＭＢで照合探索する動きベクトル検出装置において、前記探索領域を決定する方法であり、
前記探索領域を、当該領域を構成するのに適した探索ユニットの集合として構成できるような大きさ及び縦横比を有する前記探索ユニットを決定するステップと、
前記処理中のＭＢの位置を中心に設定された前記原画像におけるベクトル情報読み出し領域または前記処理中のＭＢに対応する位置を中心に設定された前記参照画像におけるベクトル情報読み出し領域において既に求めた動きベクトルの統計量を求める統計計算ステップと、
前記統計量を解析することにより動きベクトルの出現傾向を予測する解析ステップと、
前記解析に基づき、前記処理中のＭＢに対する動きベクトルの発生確率が大きくなる方向に拡張された前記探索領域が形成されるように、探索ユニットの組み合わせを決定する決定ステップとからなる
ことを特徴とする動きベクトル検出装置において探索領域を決定する方法。

（付記２）比較的小数の探索ユニットを組み合わせた基本ユニット構成を設定するステップと、
前記基本ユニット構成に対し、左右上下、右上、右下、左上および左下の各方向に探索ユニットの拡張を行った所定のユニットパタンを予め用意するステップとをさらに含み、
前記決定ステップは、前記解析に基づき、前記所定のユニットパタンの１つを選択するステップからなる
ことを特徴とする付記１記載の探索領域を決定する方法。

（付記３）比較的小数の探索ユニットを組み合わせた基本ユニット構成を設定するステップをさらに含み、
前記決定ステップは、前記解析に基づき、基本ユニット構成に対し、左右上下、右上、右下、左上および左下の何れか１方向に探索ユニットの拡張を行う拡張ステップからなる
ことを特徴とする付記１記載の探索領域を決定する方法。

（付記４）前記統計計算ステップは、前記ベクトル情報読み出し領域において既に求めた動きベクトルの平均値を算出するステップを含み、
前記解析ステップは、前記平均値に対して予め設定された平均値閾値と前記平均値との比較に基づいて解析を行うステップを含み、
ことを特徴とする付記１記載の探索領域を決定する方法。

（付記５）前記平均値閾値は、水平成分の左側閾値および右側閾値ならびに垂直成分の上側閾値および下側閾値を含み、
前記解析ステップは、
前記ベクトル平均値の水平成分の前記左側閾値および前記右側閾値に対する相対的水平位置関係を判断するステップと、
前記ベクトル平均値の垂直成分の前記上側閾値および前記下側閾値に対する相対的垂直位置関係を判断するステップとを含み、
前記決定ステップは、前記相対的水平位置関係および前記相対的垂直位置関係で決定される方向に探索ユニットが拡張されたユニットパタンを選択するステップからなる
ことを特徴とする付記２記載の探索領域を決定する方法。

（付記６）前記統計計算ステップは、前記ベクトル情報読み出し領域において既に求めた動きベクトルのベクトル平均値およびベクトル分散値を計算するステップを含み、
前記解析ステップは、前記ベクトル平均値および前記ベクトル分散値に対して予め設定された平均値閾値および分散値閾値に基づいて解析を行うステップを含む
ことを特徴とする付記１記載の探索領域を決定する方法。

（付記７）前記平均値閾値は、水平成分の左側閾値および右側閾値ならびに垂直成分の上側閾値および下側閾値からなり、
前記分散値閾値は、水平成分の水平分散値閾値および垂直成分の垂直分散値閾値からなる
ことを特徴とする付記６記載の探索領域を決定する方法。

（付記８）前記解析ステップは、
前記ベクトル平均値の水平成分と前記左側閾値および前記右側閾値との比較結果として、左、右および水平中央からなる水平分類を与えるステップと、
前記ベクトル平均値の垂直成分と前記上側閾値および前記下側閾値との比較結果として、上、下および垂直中央からなる垂直分類を与えるステップとを含み、
前記決定ステップは、前記水平分類および前記垂直分類に基づく方向に探索ユニットを拡張したユニットパタンを選択する
ことを特徴とする付記７記載の探索領域を決定する方法。

（付記９）前記解析ステップは、
前記ベクトル平均値の水平成分と前記左側閾値および前記右側閾値との比較結果として、左、右および水平中央からなる水平分類を与えるステップと、
前記ベクトル平均値の垂直成分と前記上側閾値および前記下側閾値との比較結果として、上、下および垂直中央からなる垂直分類を与えるステップと、
前記ベクトル分散値の水平成分が前記水平分散値閾値より大きいか否かを表す水平分散判定値と、前記ベクトル分散値の垂直成分が前記垂直分散値閾値より大きいか否かを表す水平分散判定値とを求めるステップと、
前記水平分類と前記水平分散判定値との組み合わせから動きベクトルの水平方向の出現傾向が右側、中央および左側の何れかで表わされる水平成分傾向と、前記垂直分類と前記垂直分散判定値との組み合わせから動きベクトルの垂直方向の出現傾向が上側、中央および下側の何れかで表わされる垂直成分傾向とを求めるステップとからなり、
前記判断ステップは、前記水平成分傾向と前記垂直成分傾向との組み合わせにより決定される方向に探索ユニットを拡張したユニットパタンを選択する
ことを特徴とする付記７記載の探索領域を決定する方法。

（付記１０）前記処理中のＭＢに対して探索すべき探索ユニット数を表す処理ユニット数を決定するステップと、
前記処理ユニット数が前記の選択されたユニットパタンを構成する探索ユニット数に満たない場合、前記の選択されたユニットパタンを構成する前記探索ユニット数を前記処理ユニット数に制限するステップとをさらに含む
ことを特徴とする付記９記載の探索領域を決定する方法。

（付記１１）前記処理中のＭＢに対して探索すべき探索ユニット数を表す処理ユニット数を決定するステップと、
前記処理ユニット数が前記の選択されたユニットパタンを構成する探索ユニット数を超える場合、前記の選択されたユニットパタンに不足分の探索ユニットを追加するステップとをさらに含む
ことを特徴とする付記９記載の探索領域を決定する方法。

（付記１２）前記処理ユニット数が前記の選択されたユニットパタンを構成する探索ユニット数を超える場合、前記の選択されたユニットパタンに不足分の探索ユニットを追加するステップとをさらに含む
ことを特徴とする付記１０記載の探索領域を決定する方法。

（付記１３）前記所定のユニットパタンは、前記基本ユニット構成を斜め方向に拡張したユニットパタンの代わりに、またはこれに加えて、斜め方向の探索領域に適した探索ユニット構成を有するユニットパタンを含む
ことを特徴とする付記２および６乃至９の何れか１項に記載の探索領域を決定する方法。

（付記１４）前記拡張ステップは、前記基本ユニット構成を斜め方向に拡張する場合、前記基本ユニット構成を斜め方向の探索領域に適した形に変形したのち、斜め方向の拡張を行うステップを含む
ことを特徴とする付記３記載の探索領域を決定する方法。

（付記１５）前記拡張ステップは、前記基本ユニット構成を斜め方向に拡張する場合、前記基本ユニット構成を斜め方向の探索領域に適した形に変形したのち、斜め方向の拡張を行うステップを含む
ことを特徴とする付記３記載の探索領域を決定する方法。

（付記１６）参照画像と現在の原画像との間の動きベクトルを求めるために、前記原画像の処理中のマクロブロック（ＭＢ）に対応する位置を中心に設定された前記参照画像の探索領域を前記ＭＢで照合探索する動きベクトル検出において、
前記探索領域を、当該領域を構成するのに適した探索ユニットの集合として構成できるような大きさ及び縦横比を有する前記探索ユニットを決定する手段と、
前記処理中のＭＢの位置を中心に設定された前記原画像におけるベクトル情報読み出し領域または前記処理中のＭＢに対応する位置を中心に設定された前記参照画像におけるベクトル情報読み出し領域において既に求めた動きベクトルの統計量を求める統計計算手段と、
前記統計量を解析することにより動きベクトルの出現傾向を予測する解析ステップと、
前記解析に基づき、前記処理中のＭＢに対する動きベクトルの発生確率が大きくなる方向に拡張された前記探索領域が形成されるように、探索ユニットの組み合わせを決定する手段とをコンピュータに実現させる
ことを特徴とする探索領域を決定するプログラム。
（付記１７）参照画像と現在の原画像との間の動きベクトルを求めるために、前記原画像の処理中のマクロブロック（ＭＢ）に対応する位置を中心に設定された前記参照画像の探索領域を前記ＭＢで照合探索する動きベクトル検出装置であり、前記動きベクトル検出装置は、
前記探索領域を、当該領域を構成するのに適した探索ユニットの集合として構成できるような大きさ及び縦横比を有する前記探索ユニットを決定する手段と、
前記処理中のＭＢの位置を中心に設定された前記原画像におけるベクトル情報読み出し領域または前記処理中のＭＢに対応する位置を中心に設定された前記参照画像におけるベクトル情報読み出し領域において既に求めた動きベクトルの統計量を求める統計計算手段と、
前記統計量を解析することにより動きベクトルの出現傾向を予測する解析ステップと、
前記解析に基づき、前記処理中のＭＢに対する動きベクトルの発生確率が大きくなる方向に拡張された前記探索領域が形成されるように、探索ユニットの組み合わせを決定する決定手段とを備えた
ことを特徴とする動きベクトル検出装置。
（付記１８）付記１６記載のプログラムを用いて求めた動きベクトルに基づいて動き補償された参照画像と現フレームとの差分データを符号化する予測符号化装置。

本発明により動きベクトルを検出し動画像の予測符号化を行う予測符号化装置の構成を概念的に示す略ブロック図である。 本発明の一実施形態により統計的情報に基づいて信頼性の高い探索範囲を決定し効率的な動きベクトル検出を行う動きベクトル検出器の構成を示す略ブロック図である。 本発明による探索領域拡大の基本概念を示す図である。 図２の動きベクトル検出器２の動作を説明するための図であり、（ａ）はフローチャートであり、（ｂ）はタイムチャートである。 原画像の処理済みの領域のＭＢに関する情報を読み出す例を示す図である。 参照画像における原画ＭＢに近いＭＢに関する情報を読み出す例を示す図である。 図５または６に示したベクトル情報読み出し領域に対して求めた動きベクトルの平均および分散を示す表である。 平均値および分散値の解析に用いる平均値判定閾値（ａ）および分散値判定閾値（ｂ）を示す表である。 図４のステップ５３０で行われる平均値解析および分散値解析で行われる判断を示す表である。 図９の表に基づいて行った平均値解析および分散値解析の結果を用いて動きベクトル出現傾向予測を行うための表である。 図１０の傾向予測表の水平成分傾向と垂直成分傾向との組み合わせからユニットパタンの拡張方向を決定するユニットパタン決定表である。 水平方向への参照画領域拡大の例を示す図である。 垂直方向への参照画領域拡大の例を示す図である。 斜め方向への参照画領域拡大の例を示す図である。 斜め方向への参照画領域拡大の変形例を示す図である。 同ーフレーム内でのユニット数制御を示す図である。 ユニットパタン1の処理ユニット数増加による探索範囲の拡大の例を示す図である。 ユニットパタン1の処理ユニット数削減による探索範囲の縮小の例を示す図である。 原画ＭＢデータと参照画領域との関係を示す図である。 特許文献１の画像相関器（即ち、動きベクトル検出器）の構成を示すブロック図である。 従来の探索範囲拡大方法の一例を示す図である。 動きベクトル検出位置を予測して、その予測領域の周辺を探索するようすを示す図である。

符号の説明

１ 従来の動きベクトル検出器
２ 本発明による動きベクトル検出器
３ 本発明による予測符号化器
１０ フレームメモリ
１２ 原画ＭＢ記憶部
１４ 参照画領域記憶部
１６ 原画遅延調整部
１８ ユニットデータタイミング調整部
２０ 動きベクトル照合部
３０ ベクトル検出部
３１ 減算器
３２ ＤＣＴ回路
３３ 量子化器
３４ 逆量子化器
３５ 逆ＤＣＴ回路
３６ 加算器
３７ 動き補償器
４０ ベクトル・評価値データ記憶部
５０ ユニットパタン決定／制御部
６０ 演算ユニットパタン制御部

Claims (2)

1. 参照画像と現在の原画像との間の動きベクトルを求めるために、前記原画像の処理中のマクロブロック（ＭＢ）に対応する位置を中心に設定された前記参照画像の探索領域を前記ＭＢで照合探索する動きベクトルの前記探索領域を決定する方法であり、
   前記探索領域を、当該領域を構成するのに適した探索ユニットの集合として構成できるような大きさ及び縦横比を有する前記探索ユニットを決定するステップと、
   前記処理中のＭＢの位置を中心に設定された前記原画像におけるベクトル情報読み出し領域または前記処理中のＭＢに対応する位置を中心に設定された前記参照画像におけるベクトル情報読み出し領域において既に求めた動きベクトルの統計量を求める統計計算ステップと、
   前記統計量を解析することにより動きベクトルの出現傾向を予測する解析ステップと、
   前記解析に基づき、前記処理中のＭＢに対する動きベクトルの発生確率が大きくなる方向に拡張された前記探索領域が形成されるように、探索ユニットの組み合わせを決定する決定ステップとからなり、
   前記統計計算ステップは、前記ベクトル情報読み出し領域において既に求めた動きベクトルのベクトル平均値およびベクトル分散値を計算するステップを含み、
   前記解析ステップは、前記ベクトル平均値および前記ベクトル分散値に対して予め設定された平均値閾値および分散値閾値に基づいて解析を行うステップを含み、
   前記平均値閾値は、水平成分の左側閾値および右側閾値ならびに垂直成分の上側閾値および下側閾値からなり、前記分散値閾値は、水平成分の水平分散値閾値および垂直成分の垂直分散値閾値からなり、
   前記解析ステップは、前記ベクトル平均値の水平成分と前記左側閾値および前記右側閾値との比較結果として、左、右および水平中央からなる水平分類を与え、前記ベクトル平均値の垂直成分と前記上側閾値および前記下側閾値との比較結果として、上、下および垂直中央からなる垂直分類を与えるステップとを含み、前記決定ステップは、前記水平分類および前記垂直分類に基づく方向に探索ユニットを拡張したユニットパタンを選択する
   ことを特徴とする探索領域を決定する方法。
2. 参照画像と現在の原画像との間の動きベクトルを求めるために、前記原画像の処理中のマクロブロック（ＭＢ）に対応する位置を中心に設定された前記参照画像の探索領域を前記ＭＢで照合探索する動きベクトルの前記探索領域を決定する方法であり、
   前記探索領域を、当該領域を構成するのに適した探索ユニットの集合として構成できるような大きさ及び縦横比を有する前記探索ユニットを決定するステップと、
   前記処理中のＭＢの位置を中心に設定された前記原画像におけるベクトル情報読み出し領域または前記処理中のＭＢに対応する位置を中心に設定された前記参照画像におけるベクトル情報読み出し領域において既に求めた動きベクトルの統計量を求める統計計算ステップと、
   前記統計量を解析することにより動きベクトルの出現傾向を予測する解析ステップと、
   前記解析に基づき、前記処理中のＭＢに対する動きベクトルの発生確率が大きくなる方向に拡張された前記探索領域が形成されるように、探索ユニットの組み合わせを決定する決定ステップとからなり、
   前記統計計算ステップは、前記ベクトル情報読み出し領域において既に求めた動きベクトルのベクトル平均値およびベクトル分散値を計算するステップを含み、
   前記解析ステップは、前記ベクトル平均値および前記ベクトル分散値に対して予め設定された平均値閾値および分散値閾値に基づいて解析を行うステップを含み、
   前記平均値閾値は、水平成分の左側閾値および右側閾値ならびに垂直成分の上側閾値および下側閾値からなり、前記分散値閾値は、水平成分の水平分散値閾値および垂直成分の垂直分散値閾値からなり、
   前記解析ステップは、
   前記ベクトル平均値の水平成分と前記左側閾値および前記右側閾値との比較結果として、左、右および水平中央からなる水平分類を与えるステップと、
   前記ベクトル平均値の垂直成分と前記上側閾値および前記下側閾値との比較結果として、上、下および垂直中央からなる垂直分類を与えるステップと、
   前記ベクトル分散値の水平成分が前記水平分散値閾値より大きいか否かを表す水平分散判定値と、前記ベクトル分散値の垂直成分が前記垂直分散値閾値より大きいか否かを表す垂直分散判定値とを求めるステップと、
   前記水平分類と前記水平分散判定値との組み合わせから動きベクトルの水平方向の出現傾向が右側、中央および左側の何れかで表わされる水平成分傾向と、前記垂直分類と前記垂直分散判定値との組み合わせから動きベクトルの垂直方向の出現傾向が上側、中央および下側の何れかで表わされる垂直成分傾向とを求めるステップとからなり、
   前記決定ステップは、前記水平成分傾向と前記垂直成分傾向との組み合わせにより決定される方向に探索ユニットを拡張したユニットパタンを選択する
   ことを特徴とする探索領域を決定する方法。