JPH0879760A - 動きベクトル検出回路 - Google Patents

Abstract

(57)【要約】 【目的】 正確な動きベクトルの検出を行い符号化効率
を改善する。 【構成】 差分絶対値回路２１によって現画像及び前画
像データ間の差分の絶対値を求め、各累計器２２〜２５
はブロックを分割したサブブロック単位で差分の絶対値
を累計する。ベクトル選択回路２７〜３０では各累計結
果に基づき、最も類似度の高いブロックをサブブロック
単位でそれぞれ求め、それらに対応する候補ベクトルを
それぞれ出力する。グループ化回路３２〜３５が各候補
ベクトルを向きと大きさでグループ化し、多数決回路３
６がグループ化結果の多数決を採り、ベクトル選択回路
２７〜３０の出力の候補ベクトルの内の孤立したベクト
ルを排除する。多数決の結果得られたグループに基づい
たベクトル、または累計器４６とベクトル選択回路５１
とを介してブロック単位で求められたベクトルが動きベ
クトルとしてベクトル演算回路５７で選択されて出力さ
れる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像に対する信号処
理で、フレーム間予測における動き補償をするための画
像の動きベクトルを検出する動きベクトル検出回路に関
するものである。

【０００２】

【従来の技術】従来、このような分野の技術としては、
例えば、次の文献に記載されるものがあった。 文献１；「映像機器におけるディジタル信号処理技術」
（１９８９−７−７）株式会社トリケップス、P.36-39 文献２；「ＴＴＣ標準、第ｖ巻，第３分冊：高位レイヤ
プロトコル符号化方式」電信電話技術委員会発行、P.32
0-326 動画像の高能率符号化において、符号化効率の改善をす
るためにフレーム間予測が用いられることがある。フレ
ーム間予測は、時間的に接近した画像間には高い相関が
あるという性質を利用した画像圧縮方法であり、連続し
た２枚の画像の差分を伝送することで、データ量を削減
する方法である。静止している画像の場合、前画像と現
画像の差分はほとんどないので、符号化効率は非常に高
いものとなる。しかし、動きのある画像では、相関が低
くなって符号化効率が低下する。そのため、前画像と現
画像間の動き量及びその動き方向を示す動きベクトルを
検出し、この動きベクトルを用いて画像の一部または全
部を動かすことによって２枚の画像間の相関を高くして
いる。

【０００３】動きベクトルの検出は、ブロックマッチン
グ方法で行うのが一般的である。上記文献１には、その
ブロックマッチング方法が示されている。ブロックマッ
チング方法とは、現画像フレームを複数のブロックに分
割し、その各ブロックに対して前画像中の同じ大きさの
ブロックとの類似度を調べ、その結果で最も類似度の高
いブロックとの位置関係を動きベクトルとして検出する
方法である。１本のベクトルに対する類似度の評価演算
は、２つのブロック間におけるブロック内の同じ位置に
ある画素同士の差分の絶対値または自乗値を、ブロック
内のすべて画素について求め、これを累計することによ
って行う。ブロックサイズがＭライン×Ｎ画素のとき、
１本のベクトル（ｉ，ｊ）に対する評価演算は、次の
（１）式で表される。

【数１】 この演算をベクトルの探索範囲内に発生するベクトル
（試行ベクトル）全てに対して実施し、評価演算の値が
最小となる試行ベクトルを動きベクトルとして出力す
る。

【０００４】図２は、従来の動きベクトル検出回路を示
す構成ブロック図である。動きベクトル検出回路は、ブ
ロックマッチングを行う基準となる現画像データの入力
端子Ｉｎ１と、参照画像である前画像データの入力端子
Ｉｎ２と、各入力端子Ｉｎ１，Ｉｎ２に入力される画像
データのブロック間の相対的な位置関係を示すベクトル
の入力端子Ｉｎ３とを、備えている。各入力端子Ｉｎ
１，Ｉｎ２には入力端子Ｉｎ１，Ｉｎ２からの２系統の
データの差分の絶対値を計算する差分絶対値回路１１が
接続され、差分絶対値回路１１の出力側には累計器１２
が接続されている。累計器１２は差分絶対値回路１１の
出力を処理ブロック単位に累計するものであり、累計器
１２の出力側には累計器１２の出力が最小になるときを
検出する最小値検出回路１３が接続されている。また、
この動きベクトル検出回路にはレジスタ１４が設けられ
ている。入力端子Ｉｎ３はレジスタ１４に接続され、レ
ジスタ１４は入力端子Ｉｎ３から入力されるベクトル値
をホールドする機能を有している。レジスタ１４は最小
値検出回路１３が最小値を検出したときに発生する信号
を入力し、その信号が入力されたときにホールドしてい
るベクトル値を出力端子Ｏｕｔ１から出力する構成とな
っている。

【０００５】次に、図２の動きベクトル検出回路による
動きベクトルの検出の動作を説明する。入力端子Ｉｎ１
には現画像データが入力され、入力端子Ｉｎ２には現画
像データに対して時間的に１フレーム前の画像データ、
つまり前画像データが入力される。これらの画像データ
は、ブロックマッチングを行うブロックサイズを１つの
単位として入力される。まず、第１番目の試行ベクトル
に対する評価演算として、入力端子Ｉｎ１から１ブロッ
クサイズ分の現画像データが入力される。入力端子Ｉｎ
２からは前画像データが１ブロックサイズ分入力され
る。このとき、（１）式におけるｉ及びｊに対応するベ
クトルが、入力端子Ｉｎ３から入力される。現画像デー
タと前画像データの２系統の画像データの類似度を調
べ、その類似度が最も高い時に入力端子Ｉｎ３から入力
されていたベクトルを選択出力することで、動きベクト
ルが検出される。各入力端子Ｉｎ１，Ｉｎ２から順次入
力される画像データは、（１）式ｉおけるＸ_m,n 及びＹ
_m+i,n+j のデータである。ただし、ｉ及びｊは固定であ
る。これらのデータは差分絶対値回路１１に入力され、
差分絶対値回路１１がＸ_m,n 及びＹ_m+i,n+j のデータの
差分を求めて結果を絶対値に変換する。即ち、（１）式
における｜Ｘ_m,n −Ｙ_m+i,n+j ｜の演算が行われる。差
分絶対値回路１１による演算結果は累計器１２に送出さ
れ、累計器１２がそれらの累計を求める。ブロック内の
全ての画素についての累計が終了すると、その累計結果
が最小値検出回路１３に転送される。最小値検出回路１
３は転送された累計結果を内部に有したレジスタに現段
階における最小値として保持すると共に、最小値を検出
したというパルス情報をレジスタ１４に送出する。最小
値検出回路１３からのパルス情報に基づき、レジスタ１
４は入力端子Ｉｎ３から入力されている現在処理中のベ
クトル情報、つまり、最初の試行ベクトルを示す情報を
保持する。これで最初の試行ベクトルに対する評価演算
が終了する。

【０００６】次に、各入力端子Ｉｎ１，Ｉｎ２からは２
番目の試行ベクトルに対応するデータが入力される。差
分絶対値回路１１及び累計器１２は最初の試行ベクトル
の場合と同様の処理を行い、２番目の試行ベクトルにお
ける累計値が得られる。最小値検出回路１３は、内部に
保持されていた最初のベクトルにおける累計値と今回の
２番目の試行ベクトルにおける累計値を比較する。例え
ば、２番目の試行ベクトルに対応する累計値の方が小さ
い場合に、最小値検出回路１３は“Ｈ”のパルス情報を
レジスタ１４に送出する。“Ｈ”のパルス情報によって
現在処理中のベクトル情報を記憶するレジスタ１３の内
容が更新される。このように、レジスタ１４には、現在
までに処理してきた試行ベクトル中、累計値が最小にな
る時のベクトル情報が保持されることになる。以上の動
作を全ての試行ベクトルに対して行うことで、差分の絶
対値の累計が最小となるベクトルが得られ、このベクト
ルが動きベクトルとして出力端子Ｏｕｔ１から出力され
る。

【０００７】図２の動きベクトル検出回路で得られた動
きベクトルを用いることで２枚の画像間の類似性が高く
なり、フレーム間予測において動き補償をしない場合に
比べてより効率的なデータ圧縮が可能となる。文献２に
は、動画像符号化の国際標準であるＣＣＩＴＴの勧告
Ｈ．２６１における情報符号化部の説明が記載されてい
る。情報符号化部は動き補償フレーム間予測と直交変換
と量子化の組み合わせである。勧告Ｈ．２６１では、動
きベクトル検出を１６画素×１６ラインのマクロブロッ
クと呼ばれる単位で行う。ここで得られたベクトルに基
づいてフレーム間予測が行われ、時間的な冗長度が削減
される。この差分を８画素×８ラインのサブブロックと
呼ばれる単位に小分割し、サブブロック単位に２次元離
散コサイン変換（ＤＣＴ）を行う。変換によって画素デ
ータは周波数領域に置き換えられる。画像信号は低周波
数成分に大きな電力を持つため、変換結果のＤＣＴ係数
は特定の周波数成分に情報が集中する。このＤＣＴ係数
に対する可変長符号化、或いは高周波成分を制限するこ
と等で画像データ圧縮の効率化が実現されている。

【０００８】

【発明が解決しようとする課題】しかしながら、従来の
動きベクトル検出回路では、次のような課題があった。
即ち、従来のブロックマッチングによる動きベクトル検
出においては、単に差分の累計が小さいものを動きベク
トルとして選択しているため、検出単位であるブロック
の中に複数の異なる動きが存在したり局所的な動きがあ
る場合、実際の動きと異なるベクトルを動きベクトルと
して選定することがある。このように誤ったベクトルの
動きベクトルを用いても、動画像符号化効率が向上しな
いという課題があった。図３は、マクロブロック単位の
動きベクトルとフレーム間差分を示す図であり、この図
を参照しつつ課題を説明する。図３中の（ａ１）は前フ
レームのあるマクロブロックＭＢ1 の画像、（ｂ）は現
フレーム中でマクロブロックＭＢ1 の位置に存在するマ
クロブロックＭＢ２の画像、（ａ２）はマクロブロック
ＭＢ１に対して動き補償を行った画像、（ｃ）は（ｂ）
と（ａ２）の画像間のフレーム間差分を示している。
（ａ１）と（ｂ）の画像は共に、２つの円を含んだ画像
である。（ａ１）の画像から１フレーム分遅れた画像で
ある（ｂ）の画像においては１つの円は静止し、もう一
方の円が右に移動しているとする。画像（ａ１）と
（ｂ）間で動きベクトルを（１）式に基づいて求める
と、動きベクトルＶ♂（以下、♂をベクトル記号とす
る）はマクロブロックＭＢ２に対するベクトルよりも右
に移動したものとなる。この動きベクトルＶ♂に従うこ
とにより、（ａ１）の画像の位置をシフトした位置の画
像（ａ２）が動き補償を行った画像として得られる。
（ａ２）と（ｂ）の画像間の差分を求めた結果の（ｃ）
が、符号化に用いられるフレーム間差分となる。図３の
（ｃ）における白い部分は差分の発生しない領域であ
り、同図（ｃ）ではマクロブロック内の広い範囲に差分
が発生することになる。

【０００９】ここで、動きベクトルの検出を１６画素×
１６ラインのマクロブロック単位で行い、ＤＣＴ変換を
単なる８画素×８ラインで行う場合の従来技術の動画像
符号化について説明する。このように、ベクトル検出単
位がＤＣＴの実施範囲よりも大きい場合、即ち、図３の
（ｃ）においてマクロブロックを４分割した小ブロック
（サブブロック）単位でＤＣＴが施される場合、広範囲
に差分が発生していると全てのサブブロックにＤＣＴに
よる係数が発生する。ここで、図３の（ａ１）の画像と
（ｂ）の画像を比較すれば、１つの円は静止しているの
で動きベクトルを零（０）にすると、右上のサブブロッ
クのみに差分が発生してＤＣＴを行うサブブロックは１
個となる。そのため、ＤＣＴ後に得られる係数において
も、零ベクトルを用いた方がマクロブロック単位の動き
ベクトルを用いた場合よりも少なくなると考えられる。
以上のように、マクロブロック単位の動きベクトル検出
はマクロブロック内の全ての画素の差分について累計を
求めるため、そのマクロブロック内で複数の動きがある
場合にどの動きにも対応しない動きベクトルを検出する
可能性が在り、符号化効率を高めるための最適な動きベ
クトルを求めることができないという課題があった。

【００１０】

【課題を解決するための手段】本発明は、前記課題を解
決するために、次のように動きベクトル検出回路を構成
している。即ち、現画像及び前画像の２系統の画像デー
タブロックをそれぞれ入力する第１及び第２の入力端子
と、同じブロックサイズを有する前記現画像のブロック
と前画像のブロックの相対的位置関係を示すベクトルを
入力する第３の入力端子と、前記第１及び第２の入力端
子に接続され、前記２系統の画像データブロックの差分
の絶対値を対応する画素毎に求める差分絶対値回路とを
有している。また本発明の動きベクトル検出回路は、前
記差分絶対値回路に接続され、前記ブロックを小分割し
たサブブロック単位で前記差分の絶対値をそれぞれ累計
する複数のサブブロック用累計器と、前記各サブブロッ
ク用累計器の出力に基づいて前記ブロック間の類似度の
高い前画像のブロックをサブブロック単位でそれぞれ求
め、該前画像のブロックに対応する前記ベクトルをそれ
ぞれ送出する複数の第１のベクトル選択回路と、前記差
分絶対値回路に接続され、前記差分の絶対値を前記ブロ
ックサイズ単位で累計するブロック用累計器と前記ブロ
ック用累計器の出力に基づいて前記ブロック間の類似度
の最も高い前画像のブロックを求め、該前画像のブロッ
クに対応する前記ベクトルを送出する第２のベクトル選
択回路とを、備えている。さらに、この動きベクトル検
出回路は、前記各第１のベクトル選択回路の送出したベ
クトルをそれぞれグループ化する複数のグループ化回路
と、前記グループ化回路におけるグループ化結果の多数
決を採り前記複数の第１のベクトル選択回路の送出する
ベクトルのうち孤立したベクトルを排除する多数決回路
と、前記多数決の結果得られたグループに基づいて求め
たブロックを代表するベクトルまたは前記第２のベクト
ル選択回路の送出したベクトルを前記動きベクトルとし
て出力するベクトル演算回路とを、設けている。

【００１１】

【作用】本発明は、以上のように動きベクトル検出回路
を構成しているので、ブロックを小分割したサブブロッ
ク単位で差分の絶対値が複数のサブブロック用累計器に
よってそれぞれ累計される。この累計結果は類似度の逆
数であり、サブブロック用累計器はサブブロックごとの
類似度を求めることになる。この類似度に基づいて、ブ
ロック間の類似度の高い前画像のブロックが複数の第１
のベクトル選択回路によってサブブロック単位でそれぞ
れ求められ、それらに対応する候補ベクトルがそれぞれ
送出される。一方、ブロック用累計器はブロック単位で
差分の絶対値を累計して類似度を求め、その類似度に基
づいてブロック間の類似度の最も高い前画像のブロック
が第２のベクトル選択回路によって求められて対応する
ベクトルが送出される。各第１のベクトル選択回路の送
出したベクトルは複数のグループ化回路によってそれぞ
れグループ化され、多数決回路がグループ化結果の多数
決を採る。これにより、ブロック内のサブブロック単位
で求められた候補ベクトルのうち孤立したベクトルが排
除される。即ち、ブロック内で局部的に異なる動きを示
すサブブロックから求められたベクトルが排除される。
その多数決の結果得られたグループに基づいて求めたブ
ロックを代表するベクトルまたは前記第２のベクトル選
択回路の送出したベクトルが動きベクトルとしてベクト
ル演算回路によって出力される。従って、前記課題を解
決できるのである。

【００１２】

【実施例】第１の実施例 本実施例の動きベクトル検出回路は、ブロックマッチン
グによる画像の動きベクトル検出にあたり、ブロックマ
ッチングを行うブロックをさらに小さなブロックに分割
し、この小ブロック単位に動きベクトルの候補ベクトル
を求める。そして、得られた複数の候補ベクトルの中か
ら多数決によってブロック全体の動きベクトルを決定す
る。これにより、符号化に適した動きベクトルの検出を
可能にするものである。図４は、動きベクトル検出の手
法を説明する図である。簡単のため、図４では全体の動
きベクトルを１６画素×１６ラインのマクロブロック単
位に検出し、候補ベクトルは８画素×８ラインのサブブ
ロック単位に検出する場合が示されている。ブロックマ
ッチングで得られたサブブロック単位の候補ベクトルを
図４（ａ）そのマクロブロックにおける動きベクトルを
図４（ｂ）に示している。ここで、４本の候補ベクトル
Ｖａ♂〜Ｖｄ♂のうちの３本の候補ベクトルＶａ♂〜Ｖ
ｃ♂ｃは同じベクトルＶ１♂であり、残りの１本のベク
トルＶｄ♂がＶ２♂である。マクロブロックにおける動
きベクトルは、４本の候補ベクトルＶａ♂〜Ｖｄ♂の多
数決で求めるため、孤立しているベクトルＶｄ♂を除い
た３本のベクトルと同じＶ１♂が動きベクトルとして選
択される。同様に２本の候補ベクトルが一致し、他の２
本の候補ベクトルが互いに異なっている場合、２本の候
補ベクトルが一致したベクトルをマクロブロックにおけ
る動きベクトルとして出力する。また、全ての候補ベク
トルが互いに異なる場合および２本の候補ベクトル同士
が一致する場合には、マクロブロック単位で検出した動
きベクトルを出力する。現実には、複数の候補ベクトル
が一致する確率は低いため、ベクトルの向きおよび大き
さによってグループ化した後、マクロブロックを代表す
るベクトルを求める。

【００１３】図１は本発明の第１の実施例を示す動きベ
クトル検出回路の構成ブロック図である。この動きベク
トル検出回路は、図４のように、全体の動きベクトルを
１６画素×１６ラインのマクロブロック単位に検出し、
候補ベクトルは８画素×８ラインのサブブロックに検出
する場合を想定している。この動きベクトル検出回路
は、ブロックマッチングを行う基準となる現画像データ
の入力端子Ｉｎ１と、参照画像である前画像データの入
力端子Ｉｎ２と、入力端子Ｉｎ１，Ｉｎ２から入力され
る現フレームと前フレームの画像データブロックの位置
関係を示すベクトルが入力される処理ベクトルデータ入
力端子Ｉｎ３とを有している。２個の入力端子Ｉｎ１，
Ｉｎ２は差分絶対値回路２１に接続されている。差分絶
対値回路２１は各入力端子Ｉｎ１，Ｉｎ２からの２系統
の画像データの差分の絶対値を計算する機能を有し、差
分絶対値回路２１の出力側にはサブブロック用の４個の
累計器２２〜２５と１個のマクロブロック用の累計器２
６とが並列に接続されている。各累計器２２〜２５は差
分絶対値回路２１の出力をサブブロック単位に累計する
ものであり、累計器２６は差分絶対値回路２１の出力を
マクロブロック単位に累計するものである。各累計器２
２〜２５の出力側にはベクトル選択回路２７〜３０がそ
れぞれ接続され、累計器２６の出力側にはベクトル選択
回路３１が接続されている。各ベクトル選択回路２７〜
３０の入力側には、さらに入力端子Ｉｎ３が接続され、
それらベクトル選択回路２７〜３０は各累計器２２〜２
５の出力が最小になるときの入力端子Ｉｎ３からのベク
トル値をそれぞれ出力する接続となっている。

【００１４】累計器２６の出力側にはベクトル選択回路
３１が接続され、そのベクトル選択回路３１の入力側に
は入力端子Ｉｎ３が接続されいる。ベクトル選択回路３
１は、累計器２６の出力が最小になったときの入力端子
Ｉｎ３からのベクトル値を出力するものである。各ベク
トル選択回路２７〜３０の出力側にはグループ化回路３
２〜３５がそれぞれ接続され、各グループ化回路３２〜
３５の出力端子は多数決回路３６に接続されている。ベ
クトル検出回路３１の出力側には、ベクトル演算回路３
７が接続されている。このベクトル演算回路３７の複数
の入力端子にはさらに各ベクトル選択回路２７〜３０の
出力端子が接続されると共に多数決回路３６の出力端子
も接続されている。各グループ化回路３２〜３５はベク
トル選択回路２７〜３０から出力されるサブブロック単
位の候補ベクトルをベクトルの向き及び大きさでグルー
プ分けする回路であり、多数決回路３６はグループ分け
の結果、最も多くの候補ベクトルが含まれるグループを
選択出力する構成となっている。ベクトル演算回路３７
は多数決回路３６の出力とベクトル選択回路２７〜３１
の出力とに基づき、マクロブロックを代表する動きベク
トルを求める機能を有し、ベクトル演算回路３７の出力
が出力端子Ｏｕｔ２を介して外部に出力される接続とな
っている。

【００１５】次に、図１の動きベクトル検出回路の動作
を説明する。ブロックマッチングによる動きベクトルの
検出は、時間的に離れた２枚の画像間で互い空間的な位
置関係をずらしながら類似度を調べ、類似度の最も高い
時の位置関係を求めることで実現される。本実施例にお
いても、基本的にこの流れに沿った検出を行う。入力端
子Ｉｎ１からは現画像データ、入力端子Ｉｎ２からは現
画像データよりも時間的に１フレーム前のデータ、即ち
前画像データが入力される。第１番目の試行ベクトルの
類似度を調べるため、前画像データは第１番目の試行ベ
クトルが意味する位置のデータが、１マクロブロック分
入力される。現画像データについては、基準となるマク
ロブロックのデータが同じく１マクロブロック分入力さ
れる。ここで、１単位時間（サイクル）にはそれぞれ１
画素のデータが入力されるので、１マクロブロック分の
データ入力には２５６サイクル必要となる。ある時間に
おける入力データのブロック内の位置は、現画像及び前
画像とも同じ位置である。即ち、現画像データの入力に
おいて、第１サイクルでマクロブロックの左上のデー
タ、第２サイクルでその右隣のデータという順で入力さ
れたとすると、前画像データも同様に第１サイクルでマ
クロブロックの左上のデータ、第２サイクルでその右隣
のデータという順で入力される。また、入力端子Ｉｎ３
からは第１番目の試行ベクトルのベクトル値、即ち
（１）式におけるＹ_m+i,n+j のｉとｊの値が入力され
る。

【００１６】以上のように入力される各データに基づ
き、第１番目の試行ベクトルに対応するブロック間の類
似度が調べられる。ブロックマッチングによりベクトル
を検出するために、まず時間的に離れた２つの画像間の
差分の絶対値が差分絶対値回路２１で求められる。差分
絶対値回路２１の入力は、ｉとｊの値を固定した（１）
式におけるＸ_m,n 及びＹ_m+i,n+j であるので、｜Ｘ_m,n
−Ｙ_m+i,n+j ｜の演算が行われる。各累計器２２〜２５
は図４の（ａ１）の４本の候補ベクトルＶａ♂〜Ｖｄ♂
を求めるために、差分絶対値をサブブロック別に累計す
る。各累計器２２〜２５は６４個のデータをそれぞれ累
計することになる。一方、累計器２６はマクロブロック
全体の候補ベクトルを求めるために、差分絶対値回路２
１からの２５６個の出力データを全て累計する。各累計
器２２〜２５の出力は（１）式におけるＤ_i,j 、即ち
（１）式の右辺となる。ブロックマッチングにおける類
似度は、Ｄ_i,j の値の大小で評価される。各ベクトル選
択回路２７〜３０では累計器２２〜２５で得られた累計
結果から、各サブブロックにおいて最も類似度の高いベ
クトルを選択して出力する。つまり累計値が最小値とな
るものに対し、そのときの入力端子Ｉｎ３から入力され
ていたベクトル値を出力する。最小値の検出は、入力さ
れてくる累計値を逐次比較することで実現される。現時
点では最初の試行ベクトルを調査している段階のため、
入力される累計値は無条件に最小値とみなされ、この最
小値が各ベクトル選択回路２７〜３０内の最小値レジス
タに、入力端子Ｉｎ３からの第１番目の試行ベクトルを
示すベクトル値と共に保持される。同様に、累計器２６
の出力はベクトル選択回路３１に入力され、その累計値
と第１番目の試行ベクトルを示すベクトル値とが共に保
持される。

【００１７】第１番目の試行ベクトルに対する類似度の
評価が終了すると、入力端子Ｉｎ１及びＩｎ２からは２
番目の試行ベクトルに対応する画像データ、入力端子Ｉ
ｎ３からはその２番目の試行ベクトルを示すベクトル値
が入力される。入力端子Ｉｎ１からの現画像データはベ
クトル探索の基準データであり、第１番目と空間的に同
じ位置のデータが入力され、入力端子Ｉｎ２からの前画
像データは第１番目のデータとは空間的にずれた位置の
データ、即ち、（１）式におけるＹ_m+i,n+j 中のｉ，ｊ
の値を変化させたデータが入力される。入力端子Ｉｎ３
からは２番目の試行ベクトルに対するｉとｊが入力され
る。これらのデータに基づき、２番目の試行ベクトルに
対する類似度が調べられる。第１番目の試行ベクトルの
場合と同様に、入力端子Ｉｎ１及びＩｎ２からのデータ
の差分の絶対値が差分絶対値回路２１で求められ、各累
計器２２〜２５はサブブロック単位にその差分の絶対値
を累計する。累計器２６はマクロブロック単位に差分の
絶対値を累計する。ベクトル選択回路２７〜３１では、
内部レジスタに保持された第１番目の試行ベクトルに対
する累計結果と、今回入力された２番目の試行ベクトル
に対応した累計結果とをそれぞれ比較し、値の小さい方
を最小値としてレジスタに格納すると共にそれに対応す
るベクトル値を格納する。

【００１８】以上の処理を全ての試行ベクトルに対して
行うことで、ベクトル選択回路２７〜３０には各サブロ
ックにおける候補ベクトルが格納され、ベクトル選択回
路３１にはマクロブロック全体の候補ベクトルが格納さ
れたことになる。全ての試行ベクトルに対する一連の処
理が終了した段階で、ベクトル選択回路２７〜３０から
は、各サブブロックにおける候補ベクトルが出力され、
ベクトル選択回路３１からはマクロブロック全体の候補
ベクトルが出力される。このマクロブロックにおける候
補ベクトルは、図２における従来技術で得られる動きベ
クトルと同じ物である。グループ化回路３２〜３５で
は、各サブブロックの候補ベクトルをベクトルの向き及
び大きさによってグループに分ける。図５は、候補ベク
トルのグループ化を説明する図である。候補ベクトルと
してベクトルＶ♂が得られたとする。このベクトルＶ♂
が、図５のように左上に向かってある一定以上の大きさ
を持っているとすると、ベクトルＶ♂はグループ４の領
域に含まれる。同様に他の候補ベクトルに対してもグル
ープ化を行うことで、すべてのサブブロックの候補ベク
トルはグループ０〜７の８種類のグループに分類され
る。グループ化を行わない場合、候補ベクトルの種類は
試行ベクトルの数だけ存在するため、候補ベクトルの値
がすべて分散して後の多数決回路３６での多数決結果が
出ない可能性が高くなる。グループ化を行うことで、候
補ベクトルは少数のグループに収束し、多数決回路３６
での結論が出易くなる。

【００１９】サブブロックはマクロブロック中に４個あ
るため、グループ化された候補ベクトルは４本ある。多
数決回路３６ではこれら候補ベクトルを元に、マクロブ
ロックを代表するグループを選択する。多数決回路３６
は候補ベクトル４本に対して多数決を採り、図４の処理
のように、８種類のグループの内で最も多くの候補ベク
トルを含むグループをマクロブロックを代表するグルー
プとして出力する。ここで、最も多くの候補ベクトルを
含むグループが得られない場合には、マクロブロックを
代表するグループは「該当なし」として出力する。多数
決回路３６の出力のマクロブロックを代表するグループ
とベクトル選択回路２７〜３１の出力のグループ化され
る前の候補ベクトルとから、ベクトル演算回路３７はマ
クロブロックを代表する動きベクトルを求める。動きベ
クトルの決定方法はいろいろ考えられる。例えば、マク
ロブロックを代表するグループ内に含まれる候補ベクト
ルを選択し、次にこれらのベクトルの平均を求めてマク
ロブロックの動きベクトルとして出力する方法等が考え
られる。ここで、マクロブロックを代表するグループが
「該当なし」の場合、ベクトル選択回路３１からのマク
ロブロック単位に求めた動きベクトルをベクトル演算回
路３７はそのまま出力する。

【００２０】以上のように、本実施例では、ブロックマ
ッチングによる動きベクトルの検出において、従来技術
で行われていたマクロブロック単位のベクトル検出と平
行してサブブロック単位のベクトル検出を行い、サブブ
ロック単位の検出結果中で孤立したベクトルを多数決回
路３６で排除する。そのため、ブロックマッチングのブ
ロックサイズ（マクロブロック）内に複数の違う動きが
存在する場合においても、フレーム間の予測効率の低下
させない動きベクトルの検出が可能となる。また、図１
の動きベクトル検出回路は、図２の従来技術による回路
の処理手順を大幅に変更することのない回路であり、サ
ブブロック単位にベクトル検出を行う回路の累計器２２
〜２５及びベクトル選択回路２７〜３０と、サブブロッ
ク単位のベクトルの中から孤立したベクトルを排除する
回路のグループ化回路３２〜３５及び多数決回路３６と
を追加することのみで実現できる。ここで、サブブロッ
ク単位のベクトル検出は従来のマクロブロック単位のベ
クトル検出と差分絶対値回路２１が共通であるため、比
較的少ない回路追加で実現することができる。一方、本
実施例では、動画像符号化の標準であるＨ．２６１，Ｍ
ＰＥＧ，ＭＰＥＧ２等の枠をはみ出すことなく、符号化
効率の改善が図れる。

【００２１】第２の実施例 図６は、本発明の第２の実施例を示す動きベクトル検出
回路の構成ブロック図である。第１の実施例の動きベク
トル検出回路では、各サブブロックでの候補ベクトル数
を１本としているが、本実施例では複数の候補ベクトル
をサブブロックごとに求める構成としている。このこと
により、多数決回路における判定が出易くなってフレー
ム間予測の効率がさらに高まる。この第２の実施例にお
いても、簡単のため、全体の動きベクトルを１６画素×
１６ラインのマクロブロック単位に検出し、候補ベクト
ルは８画素×８ラインのサブブロックに検出する場合を
想定している。ただし、各サブブロックでの候補ベクト
ル数は２本としている。図６の動き検出回路は、ブロッ
クマッチングを行う基準となる現画像データの入力端子
Ｉｎ１と、参照画像である前画像データの入力端子Ｉｎ
２と、入力端子Ｉｎ１，Ｉｎ２から入力される現フレー
ムと前フレームの画像データブロックの位置関係を示す
ベクトルが入力される処理ベクトルデータ入力端子Ｉｎ
３とを有している。２個の入力端子Ｉｎ１，Ｉｎ２は差
分絶対値回路４１に接続されている。差分絶対値回路４
１は各入力端子Ｉｎ１，Ｉｎ２からの２系統の画像デー
タの差分の絶対値を計算する機能を有し、差分絶対値回
路４１の出力側にはサブブロック用の４個の累計器４２
〜４５と１個のマクロブロック用の累計器４６とが並列
に接続されている。各累計器４２〜４５は差分絶対値回
路４１の出力をサブブロック単位に累計するものであ
り、累計器４６は差分絶対値回路４１の出力をマクロブ
ロック単位に累計するものである。各累計器４２〜４５
の出力側にはベクトル選択回路４７〜５０がそれぞれ接
続され、累計器４６の出力側にはベクトル選択回路５１
が接続されている。各ベクトル選択回路４７〜５０の入
力側は、さらに入力端子Ｉｎ３が接続され、それらベク
トル選択回路４７〜５０は各累計器４２〜４５の出力が
最小及び２番目に小さい値の時の入力端子Ｉｎ３からの
ベクトル値をそれぞれ出力する機能を有している。累計
器４６の出力側にはベクトル選択回路５１が接続され、
そのベクトル選択回路５１の入力側にも入力端子Ｉｎ３
が接続されている。ベクトル選択回路５１は、累計器４
６の出力が最小になったときの入力端子Ｉｎ３からのベ
クトル値を出力するものである。

【００２２】各ベクトル選択回路４７〜５０の出力側に
はグループ化回路５２〜５５がそれぞれ接続され、各グ
ループ化回路５２〜５５の出力端子は多数決回路５６に
接続されている。ベクトル検出回路５１の出力側には、
ベクトル演算回路５７が接続されている。このベクトル
演算回路５７の複数の入力端子にはさらに各ベクトル選
択回路４７〜５０の２本の出力端子が接続されると共に
多数決回路５６の出力端子も接続されている。各グルー
プ化回路５２〜５５はベクトル選択回路４７〜５０から
出力されるサブブロック単位の候補ベクトルをベクトル
の向き及び大きさでグループ分けする回路であり、多数
決回路５６はグループ分けの結果、最も多くの候補ベク
トルが含まれるグループを選択出力する構成となってい
る。ベクトル演算回路５７は多数決回路５６の出力とベ
クトル選択回路４７〜５１の出力とに基づき、マクロブ
ロックを代表する動きベクトルを求める機能を有し、ベ
クトル演算回路５７の出力が出力端子Ｏｕｔ３を介して
外部に出力される接続となっている。

【００２３】次に、図６の動きベクトル検出回路の動作
を説明する。入力端子Ｉｎ１からは現画像データ、入力
端子Ｉｎ２からは現画像データよりも時間的に１フレー
ム前のデータが入力される。前画像データはある試行ベ
クトルの位置データが１マクロブロック分入力される。
現画像データについては、基準となるマクロブロックの
データが同じく１マクロブロック分入力される。１単位
時間（サイクル）にはそれぞれ１画素のデータが入力さ
れるので、１マクロブロック分のデータ入力には２５６
サイクル必要となる。ある時間における入力データのブ
ロック内の位置は、現画像及び前画像とも同じ位置であ
る。入力端子Ｉｎ３からは入力端子Ｉｎ１，Ｉｎ２から
の画像データの空間的な位置関係を示すベクトル、即ち
（１）式におけるＹ_m+i,n+j のｉとｊの値が入力され
る。

【００２４】以上のように入力される各データに基づ
き、ブロック間の類似度が調べられる。第１の実施例と
同様に、まず時間的に離れた２つの画像間の差分の絶対
値が差分絶対値回路４１で求められる。差分絶対値回路
４１では、（１）式の｜Ｘ_m,n−Ｙ_m+i,n+j ｜の演算が
行われる。各累計器４２〜４５は、差分絶対値回路４１
の２５６個の出力データを各サブブロック別にそれぞれ
６４個ずつ累計し、累計器４６はマクロブロック全体の
候補ベクトルを求めるために、差分絶対値回路４１から
の２５６個の出力データを全て累計する。各累計器４２
〜４５の出力は（１）式におけるＤ_i,j 、即ち（１）式
の右辺となり、この値の大小でブロックマッチングにお
ける類似度は評価される。各ベクトル選択回路４７〜５
０では累計器４２〜４５で得られた累計結果から、各サ
ブブロックにおいて類似度の高いベクトルを上位２本選
択して出力する。つまり累計値が小さいもの上位２個に
対し、そのときの入力端子Ｉｎ３から入力されていたベ
クトル値を選択出力する。第１の実施例では、最も類似
度の高い場合のみ出力するようにしていたが、本実施例
では類似度の高い上位２つについて出力する。最小値及
び準最小値の検出は、入力されてくる累計値を逐次比較
することで実現される。最初の試行ベクトルを調査して
いる時点では、入力される累計値は無条件に最小値とみ
なされ、この最小値が各ベクトル選択回路４７〜５０内
の最小値レジスタに、入力端子Ｉｎ３からの第１番目の
試行ベクトルを示すベクトル値と共に保持される。同様
に、累計器４６の出力はベクトル選択回路５１に入力さ
れ、その累計値と第１番目の試行ベクトルを示すベクト
ル値とが共に保持される。

【００２５】第１番目の試行ベクトルに対する類似度の
評価が終了すると、入力端子Ｉｎ１及びＩｎ２からは２
番目の試行ベクトルに対応する画像データ、入力端子Ｉ
ｎ３からはその２番目の試行ベクトルを示すベクトル値
が入力される。入力端子Ｉｎ１からの現画像データはベ
クトル探索の基準データであり、第１番目と空間的に同
じ位置のデータが入力され、入力端子Ｉｎ２からの前画
像データは第１番目のデータとは空間的にずれた位置の
データ、即ち、（１）式におけるＹ_m+i,n+j 中のｉ，ｊ
の値を変化させたデータが入力される。入力端子Ｉｎ３
からは２番目の試行ベクトルに対するｉとｊが入力され
る。これらのデータに基づき、２番目の試行ベクトルに
対する類似度が調べられる。第１番目の試行ベクトルの
場合と同様に、入力端子Ｉｎ１及びＩｎ２からのデータ
の差分の絶対値が差分絶対値回路４１で求められ、各累
計器４２〜４５はサブブロック単位にその差分の絶対値
を累計する。累計器４６はマクロブロック単位に差分の
絶対値を累計する。ベクトル選択回路４７〜５０では、
内部レジスタに保持された第１番目の試行ベクトルに対
する累計結果と、今回入力された２番目の試行ベクトル
に対応した累計結果とをそれぞれ比較し、値の小さい方
を最小値としてレジスタに格納すると共にそれに対応す
るベクトル値を格納する。ここで、１番目の試行ベクト
ルに対する累計結果が２番目の試行ベクトルに対する累
計結果よりも小さい場合、２番目の試行ベクトルに対す
る累計結果及びそれに対応するベクトル値が準最小値レ
ジスタに無条件に書込まれる。逆に、１番目の試行ベク
トルに対する累計結果が２番目の試行ベクトルに対する
累計結果よりも大きい場合は、最小値レジスタに第２の
試行ベクトルに対する累計結果及びこのときのベクトル
値が書込まれ、それまで最小値レジスタに書込まれてい
た第１番目の試行ベクトルに対する累計結果は準最小値
レジスタに転送される。一方、ベクトル選択回路５１は
準最小値レジスタを持たないため、比較結果の小さいほ
うの累計結果が最小値レジスタに格納される。

【００２６】第３番目の試行ベクトルに対しても同様の
処理が行われる。３番目以降の試行ベクトルではベクト
ル選択回路４７〜５０の最小値レジスタ及び準最小値レ
ジスタに過去の累計結果が保持されているので、双方の
レジスタの内容と新たに入力された累計値とが比較さ
れ、小さいもの上位２つがそれら最小値レジスタ及び準
最小値レジスタに残される。同じく、ベクトル選択回路
５１では最小値レジスタに保持されている値と新たに入
力された累計値とが比較され、より小さい方の累計値が
最小値レジスタに書込まれる。以上の処理を全ての試行
ベクトルに対して行うことで、ベクトル選択回路４７〜
５０には各サブロックにおける候補ベクトルが各２本ず
つ格納され、ベクトル選択回路５１にはマクロブロック
全体の候補ベクトルが１本格納されたことになる。全て
の試行ベクトルに対する一連の処理が終了した段階で、
ベクトル選択回路４７〜５０からは、各サブブロックに
おける候補ベクトルが２本ずつ出力され、ベクトル選択
回路５１からはマクロブロック全体の候補ベクトルが１
本出力される。このマクロブロックにおける候補ベクト
ルは、図２における従来技術で得られる動きベクトルと
同じものである。

【００２７】グループ化回路５２〜５５では、各サブブ
ロックにつき２本の候補ベクトルをベクトルの向き及び
大きさによってグループに分ける。グループに分けるや
り方は、図５と同様であり、例えば各候補ベクトルは８
個のグループに分けられる。グループ化された候補ベク
トルは各サブブロックにつき２本ずつあり、１マクロブ
ロックにはサブブロックが４個あるため、合計８本のあ
ることになる。ここで、これら候補ベクトルには累計値
が最小の場合の第１候補ベクトルと累計値が２番目に小
さい第２候補ベクトルとが存在する。多数決回路５６は
これらの候補ベクトルに基づいて、マクロブロックを代
表するグループを選択する。選び方にはいろいろな方法
が考えられる。例えば、第１候補ベクトル４本に対して
多数決を採り、８種類のグループの内の最も多くの候補
ベクトルを含むグループをマクロブロックを代表とする
グループとして出力する。ここで、最も多くの候補ベク
トルを含むグループが複数存在する場合には、第２候補
ベクトルの多数決結果を用いて複数のグループの内から
マクロブロックを代表するグループを選択する。また、
第２候補ベクトルの多数決結果でも、最も多くの候補ベ
クトルを含むグループが複数存在する場合には、マクロ
ブロックを代表するグループは「該当無し」として出力
される。

【００２８】多数決回路５６の出力のマクロブックを代
表するグループとベクトル選択回路４７〜５１の出力の
グループ化される前の候補ベクトルとから、ベクトル演
算回路５７はマクロブロックを代表する動きベクトルを
求める。動きベクトルの決定方法についてもいろいろ考
えられる。例えば、マクロブロックを代表するグループ
内に含まれる第１候補ベクトルが選択され、次にこれら
のベクトルの平均が求められてマクロブロックの動きベ
クトルとして出力される。また、マクロブロックを代表
するグループが、第２候補ベクトルも含めた多数決で求
められている場合、第２候補ベクトルも平均演算に加え
られて動きベクトルが求められる。ここで、マクロブロ
ックを代表するグループが「該当なし」の場合、ベクト
ル選択回路５１からのマクロブロック単位に求めた動き
ベクトルが、ベクトル演算回路５７によってそのまま出
力される。以上のように、本実施例では、サブブロック
単位の候補ベクトルを２本ずつにすることで、多数決回
路５６で孤立したベクトルの判定が正確になり、第１の
実施例よりもさらに、フレーム間の予測効率を向上する
ことができる。また、図６の回路は、図１におけるベク
トル選択回路２７〜３１以降の回路を変更するだけよ
く、第１の実施例と同様に従来技術の回路の処理手順を
大幅に変更することなく実現される。

【００２９】なお、本発明は、上記実施例に限定されず
種々の変形が可能である。その変形例としては、例えば
次のようなものがある。 （１） 第１及び第２の実施例は動画像符号化装置にお
けるフレーム間の動きベクトル検出に適応した例である
がフィールド単位の動きベクトル検出とフレーム単位の
動き検出の切り替え判定にも応用することができる。動
き補償予測符号化において、フィールド単位に検出した
動きベクトルとフレーム単位に検出した動きベクトルを
切り替えて利用する場合がある。走査線毎に第１フィー
ルドのデータ、第２フィールドのデータと交互にデータ
入力される。フィールド単位の動きベクトル検出では、
第１及び第２フィールドにおける動きベクトルを各フィ
ールドに分け、各フィールド単位にブロックマッチング
することで、第１及び第２フィールドにおける動きベク
トルが求められる。即ち、前画像のフィールドと現画像
のフィールドの差分の絶対値が求められ、これを入力さ
れたブロック内のすべてのデータに対し累計が求められ
る。累計結果が最小となるベクトルを動きベクトルとし
て出力する。一方フレーム間のベクトル検出では、走査
前記毎に切り替わるフィールドを意識することなくブロ
ックマッチングで処理を行う。以上のようにして、フィ
ールド単位に２本、フレーム単位に１本の動きベクトル
が求められる。動き補償はフィールド単位またはフレー
ム単位のいずれか一方でしか行わないので、どちらを用
いるか判定する必要がある。

【００３０】一般にそのフィールド／フレームの判定
は、それぞれのベクトルを用いたときの差分の自乗値の
累計の大小で判断される。即ち、第１フィールドにおけ
る差分の自乗値の累計と第２フィールドにおける自乗値
の累計との和が、フレームにおける差分の自乗値の累計
より小さいとき、フィールド間の動き補償を行う。本発
明の動きベクトル検出回路によれば、ブロックマッチン
グを行うブロックをサブブロックに小分割する段階で、
フィールドを意識した分割を行い、この複数の小ブロッ
クで得られる候補ベクトルを多数決回路３６または５６
に入力することでフィールド／フレームの判定結果及び
その時のベクトル値を得ることができる。即ち、多数決
の結果がフィールド間で別れたものであった場合、フィ
ールド間の動き補償とし、そうでない場合にフレーム間
の動き補償とする。このように、第１及び第２の実施例
を用いることによって、判定演算に必要な自乗回路等が
不要となり、回路規模の削減が可能となる。

【００３１】（２） 第１及び第２の実施例において、
マクロブロックのサイズを１６画素×１６ライン、サブ
ブロックのサイズを８画素×８ラインとしているが、両
方とも他のサイズとしても差し支えない。また、各候補
ベクトルのグループ化方法や最終的にブロックの代表と
なるベクトルを決定する方法についても、限定されるも
のではない。 （３） 第２の実施例では、各サブブロックにつき２本
の候補ベクトルを求めるようにしているが、さらに本数
を増して多数決結果を出し易い構成としてもよい。

【００３２】

【発明の効果】以上詳細に説明したように、本発明によ
れば、ブロックを小分割したサブブロックごとに、現画
像のブロックと前画像のブロック間の相対的位置関係を
示すベクトルを求めるためにサブブロック用累計器と第
１のベクトル選択回路とグループ化回路とを備え、さら
に多数決回路を設けているので、ブロック内で異なる動
きをするサブブロックや局所的動きを示すサブブロック
による影響を排除してブロックを代表する動きベクトル
を正確に検出することができる。そのため、前画像と現
画像の２枚の画像間の類似性が高くなり、効率の良い画
像圧縮が可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示す動きベクトル検出
回路の構成ブロック図である。

【図２】従来の動きベクトル検出回路を示す構成ブロッ
ク図である。

【図３】マクロブロック単位の動きベクトルとフレーム
間差分を示す図である。

【図４】動きベクトル検出の手法を説明する図である。

【図５】候補ベクトルのグループ化を説明する図であ
る。

【図６】本発明の第２の実施例を示す動きベクトル検出
回路の構成ブロック図である。

【符号の説明】

２１，４１ 差分絶対値回路 ２２〜２５，４２〜４５ サブブロック用累計器 ２６，４６ ブロック用累計器 ２７〜３０，４７〜５０ サブブロック用ベクトル
選択回路 ３１，５１ ブロック用ベクトル選択
回路 ３２〜３５，５２〜５５ グループ化回路 ３６，５６ 多数決回路 ３７，５７ ベクトル演算回路 Ｉｎ１，Ｉｎ２，Ｉｎ３ 入力端子

Claims (1)

【特許請求の範囲】
1. 【請求項１】 現画像及び前画像の２系統の画像データ
   ブロックをそれぞれ入力する第１及び第２の入力端子
   と、 同じブロックサイズを有する前記現画像のブロックと前
   画像のブロックの相対的位置関係を示すベクトルを入力
   する第３の入力端子と、 前記第１及び第２の入力端子に接続され、前記２系統の
   画像データブロックの差分の絶対値を対応する画素毎に
   求める差分絶対値回路と、 前記差分絶対値回路に接続され、前記ブロックを小分割
   したサブブロック単位で前記差分の絶対値をそれぞれ累
   計する複数のサブブロック用累計器と、 前記各サブブロック用累計器の出力に基づいて前記ブロ
   ック間の類似度の高い前画像のブロックをサブブロック
   単位でそれぞれ求め、該前画像のブロックに対応する前
   記ベクトルをそれぞれ送出する複数の第１のベクトル選
   択回路と、 前記差分絶対値回路に接続され、前記差分の絶対値を前
   記ブロックサイズ単位で累計するブロック用累計器とを
   備え、 前記ブロック用累計器の出力に基づいて前記ブロック間
   の類似度の最も高い前画像のブロックを求め、該前画像
   のブロックに対応する前記ベクトルを送出する第２のベ
   クトル選択回路と、 前記各第１のベクトル選択回路の送出したベクトルをそ
   れぞれグループ化する複数のグループ化回路と、 前記グループ化回路におけるグループ化結果の多数決を
   採り前記複数の第１のベクトル選択回路の送出するベク
   トルのうち孤立したベクトルを排除する多数決回路と、 前記多数決の結果得られたグループに基づいて求めたブ
   ロックを代表するベクトルまたは前記第２のベクトル選
   択回路の送出したベクトルを前記動きベクトルとして出
   力するベクトル演算回路とを、 設けたことを特徴とする動きベクトル検出回路。