JPH06296273A - 動きベクトル検出回路 - Google Patents

動きベクトル検出回路

Info

Publication number
JPH06296273A
JPH06296273A JP8303793A JP8303793A JPH06296273A JP H06296273 A JPH06296273 A JP H06296273A JP 8303793 A JP8303793 A JP 8303793A JP 8303793 A JP8303793 A JP 8303793A JP H06296273 A JPH06296273 A JP H06296273A
Authority
JP
Japan
Prior art keywords
prediction error
motion vector
block
candidate blocks
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8303793A
Other languages
English (en)
Other versions
JP3046689B2 (ja
Inventor
Toshiyuki Miyake
俊行 三宅
Hiroshi Kusao
寛 草尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP8303793A priority Critical patent/JP3046689B2/ja
Priority to US08/221,744 priority patent/US5497338A/en
Priority to EP94105476A priority patent/EP0624981B1/en
Publication of JPH06296273A publication Critical patent/JPH06296273A/ja
Application granted granted Critical
Publication of JP3046689B2 publication Critical patent/JP3046689B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

(57)【要約】 【目的】 計算量を大幅に削減しても正しい動きベクト
ルを求めることができる動きベクトル検出回路を提供す
ることにある。 【構成】 動き補償予測を用いる動画像符号化に際し、
予測対象画像を規定するL個の画素からなるブロックお
よび参照画像を規定する候補ブロツクに関してブロック
マッチングをおこなって動きベクトルを検出する回路で
あって、予測対象画像を規定するブロックのL個より少
ないL1個の画素に関して候補ブロックとブロックマッ
チングをおこなって第1予測誤差を算出し、算出された
第1予測誤差がしきい値以下の場合には該第1予測誤差
に対応する候補ブロックに対してのみL1より大きくか
つL以下であるL2個の画素に関して動きベクトルを規
定する第2予測誤差を算出する演算手段(1−6,9,
10)と、演算手段により算出された第2予測誤差のう
ち動きベクトルを規定する最小の予測誤差を検出するよ
うに第2予測誤差を比較する比較手段(7−10)とを
含むことを特徴とする。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は動きベクトル検出回路に
係り、詳細には動き補償予測を用いる動画像符号化の
際、予測対象画像と参照画像の間のブロックマッチング
によって動きベクトルを検出する動きベクトル検出回路
に係る。
【0002】
【従来の技術】ブロックマッチングによって動きベクト
ルを求める主な方式として文献「インターフェースAu
g.1992 pp138」に紹介されているフルサー
チ、3ステップサーチ等がある。以下従来の動きベクト
ル検出方式の計算量について説明する。
【0003】ここで、subは減算、addは加算、o
psは計算量を示す。また、ブロックの大きさが16×
16の矩形ブロック、動きベクトルの探索範囲は水平方
向、垂直方向ともに−15〜+15の矩形領域、動きベ
クトルの精度は1画素単位であるものと仮定し、予測誤
差としては画素値の差分の絶対値の和を用いるものとす
る。
【0004】1.フルサーチ (1)ブロック内の全画素を用いて予測誤差PEを求め
る処理を、961(312 )の全ての候補ブロックに対
して行う。
【0005】(2)予測誤差PEが最小となる候補ブロ
ックへの動きベクトルを最適な動きベクトルとする。
【0006】上記の処理において、ブロックマッチング
に必要となる計算量は、 予測誤差PEの計算:256(sub)+255(ad
d)=511ops 予測誤差PEと最小値の比較:1ops を961個の全ての候補ブロックに対して行うので、 (511+1)×961=492032opsとなる。
【0007】2.3ステップサーチ (1)ブロック内の全画素を用いて予測誤差PEを求め
る処理を、動きベクトル(4m,4n)に対応する候補
ブロックに対して行う。ここでmおよびnはともに−3
〜+3の整数である。
【0008】(2)(1)における予測誤差PEの最小
値をMIN_PE、MIN_PEを与える動きベクトル
を(x,y)とし動きベクトル(x−2,y−2)、
(x,y−2)、(x+2,y−2)、(x−2,
y)、(x+2,y)、(x−2,y+2)、(x,y
+2)、(x+2,y+2)に対応する8個の候補ブロ
ックに対して、ブロック内の全画素を用いた予測誤差P
Eを求め、PE<MIN_PEであればMIN_PE=
PEとする。
【0009】(3)(2)でMIN_PEを与える動き
ベクトルを(x,y)とし、動きベクトル(x−1,y
−1)、(x,y−1)、(x+1,y−1)、(x−
1,y)、(x+1,y)(x−1,y+1)、(x,
y+1)、(x+1,y+1)に対応する8個の候補ブ
ロックに対して、ブロック内の全画素を用いた予測誤差
PEを求め、PE<MIN_PEであればMIN_PE
=PEとする。
【0010】(4)(3)でMIN_PEを与える動き
ベクトルを最適な動きベクトルとする。
【0011】上記の処理においてブロックマッチングに
必要となる計算量は、 予測誤差PEの計算:511ops 予測誤差PEと最小値MIN_PEとの比較:1ops 1)で予測誤差PEを求める回数:7×7=49回 2)で予測誤差PEを求める回数:8回 3)で予測誤差PEを求める回数:8回 なので、(511+1)×(49+8+8)=3328
0opsとなる。
【0012】3.2ステツプサーチ (1)ブロック内の全画素を用いて予測誤差PEを求め
る処理を、動きベクトル(3m、3n)に対応する候補
ブロックに対して行う。ここで、mおよびnはともに−
5〜+5の整数である。
【0013】(2)(1)における予測誤差PEの最小
値をMIN_PE、MIN_PEを与えるべき動きベク
トルを(x,y)とし動きベクトル(x−1,y−
1)、(x,y−1)、(x+1,y−1)、(x−
1,y)、(x+1,y)、(x−1,y+1)、
(x,y+1)、(x+1,y+1)に対応する8個の
候補ブロックに対して、ブロック内の全画素を用いた予
測誤差PEを求め、PE<MIN_PEであればMIN
_PE=PEとする。
【0014】(3)(2)でMIN_PEを与える動き
ベクトルを最適な動きベクトルとする。
【0015】上記の処理においてブロックマッチングに
必要となる計算量は、 予測誤差PEの計算:511ops 予測誤差PEと最小値MIN_PEとの比較:1ops 1)で予測誤差PEを求める回数:11×11=121
回 2)で予測誤差PEを求める回数:8回 なので、(511+1)×(121+8)=66048
opsとなる。
【0016】
【発明が解決しようとする課題】しかしながら、フルサ
ーチは上記のようにブロックマッチングに莫大な計算量
を必要とする。また、3ステップサーチおよび2ステッ
プサーチは、一部の候補ブロックしか調べないので正し
い動きブロックが求められず、フルサーチの場合と比較
して再生画像の画質が著しく劣下する。
【0017】本発明の目的は、計算量を大幅に削減して
も正しい動きベクトルを求めることができる動きベクト
ル検出回路を提供することにある。
【0018】
【課題を解決するための手段】本発明は、動き補償予測
を用いる動画像符号化に際し、予測対象画像を規定する
L個の画素からなるブロックおよび参照画像を規定する
候補ブロックに関してブロックマッチングをおこなって
動きベクトルを検出する回路であって、予測対象画像を
規定するブロックのL個より少ないL1個の画素に関し
て候補ブロックとブロックマッチングをおこなって第1
予測誤差を算出し、算出された第1予測誤差がしきい値
以下の場合には該第1予測誤差に対応する候補ブロック
に対してのみL1より大きくかつL以下であるL2個の
画素に関して第2予測誤差を算出する演算手段と、演算
手段により算出された第2予測誤差のうち動きベクトル
を規定する最小の予測誤差を検出するように第2予測誤
差を比較する比較手段とを含むことを特徴とする。
【0019】
【作用】本発明においては、演算手段が動き補償予測を
用いる動画像符号化に際し、予測対象画像を規定するL
個の画素からなるブロックおよび参照画像を規定する候
補ブロックに関してブロックマッチングをおこなって動
きベクトルを検出する回路であって、予測対象画像を規
定するブロックのL個より少ないL1個の画素に関して
候補ブロックとブロックマッチングをおこなって第1予
測誤差を算出するとともに算出された第1予測誤差がし
きい値以下の場合には該第1予測誤差に対応する候補ブ
ロックに対してのみL1より大きくかつL以下であるL
2個の画素に関して動きベクトルを規定する第2予測誤
差を算出し、比較手段が演算手段により算出された第2
予測誤差のうち動きベクトルを規定する最小の予測誤差
を検出するように第2予測誤差を比較するので、ブロッ
クマッチングに必要な計算量を大幅に削減し得、かつ精
度の高い動きベクトルを検出し得る。
【0020】
【実施例】以下図面を参照して実施例を説明する。いず
れも、L個の画素からなるブロックを単位とし予測対象
画像内の1個の該ブロックに対して、参照画像内のN個
の候補ブロックとの間でブロックマッチングを行い動き
ベクトルを検出している。
【0021】図1は本発明の動きベクトル検出回路の第
1実施例を示す図である。
【0022】図1において、1はアドレス発生器であっ
て制御部9からの制御信号に応じて単位ブロック内のL
1(<L)個の画素についての予測誤差PE1を求める
際に用いられる画素に対するアドレス情報、およびL2
(L1<L2≦L)個の画素についての予測誤差PE2
を求める際に用いられる画素に対するアドレス情報を発
生する。
【0023】ここで、予測誤差PE2を求める際に用い
るL2個の画素は予測誤差PE1を求める際に用いるL
1個の画素を含み、予測誤差PE2を求める際はL2個
の画素のうち予測誤差PE1を求める際に用いられなか
った(L2−L1)個の画素に対するアドレス情報のみ
を発生する。
【0024】2もアドレス発生器であって制御部9から
の制御信号を受けて動きベクトル発生部10からの動き
ベクトル情報に対応する候補ブロック内の、予測誤差P
E1を求める際に用いられるL1個の画素に対するアド
レス情報、および予測誤差PE2を求める際に用いられ
るL2個の画素に対するアドレス情報を発生する。
【0025】ここで、予測誤差PE2を求める際に用い
るL2個の画素は、予測誤差PE1を求める際に用いる
L1個の画素を含み、予測誤差PE2を求める際は候補
ブロック内のL2個の画素のうち、予測誤差PE1を求
める際に用いられなかった(L2−L1)個の画素に対
するアドレス情報のみを発生する。
【0026】3は予測対象画像の情報をブロック単位に
格納するメモリであってアドレス発生部1からの情報に
したがって格納されている情報が読み出される。
【0027】4は参照画像内の探索領域の情報を格納す
るメモリであってアドレス発生部2からの情報にしたが
って情報が読み出される。
【0028】5は予測誤差演算部であって、予測対象ブ
ロックと候補ブロックとの間の予測誤差を求める。予測
誤差PE2を求める場合はL2個の画素のうち予測誤差
PE1を求める際に用いられなかった(L2−L1)個
の画素についての予測誤差を求め、その値を予測誤差P
E1に加算することによって求める。予測誤差を求める
方法としては、例えば予測対象ブロックと候補ブロック
の対応する各画素間の画素値の差分の絶対値の累積和を
用いることができる。
【0029】6は予測誤差PE1としきい値THとを比
較する比較部である。
【0030】7は比較部、8は予測誤差PE2の最小値
MIN_PEと、最小値MIN_PEを与える動きベク
トルを格納するレジスタであって、比較部7は予測誤差
PE2とレジスタ8に格納された最小値MIN_PEを
比較する。
【0031】9は制御部であって比較部6の処理の結
果、予測誤差PE1がしきい値TH以下である場合は、
予測誤差PE2を求めるための制御信号を発生し、比較
部6の処理の結果、予測誤差PE1がしきい値THより
大きい場合、および比較部7の処理が終了した場合は次
の候補ブロックに対して予測誤差PE1を求めるための
制御信号を発生する。
【0032】10は動きベクトル発生部であって、比較
部6の処理の結果、予測誤差PE1がしきい値THより
大きい場合、および比較部7の処理が終了した場合、制
御部9の制御により次の候補ブロックへの動きベクトル
情報を発生する。
【0033】上述の回路において、アドレス発生器1,
2、メモリ3,4、予測誤差演算部5、比較部6、制御
部9および動きベクトル発生部10が演算手段を構成
し、比較部7、レジスタ8、制御部9、動きベクトル発
生部10が比較手段を構成する。
【0034】以下に処理手順を説明する。
【0035】(1)予測誤差PE1のしきい値をTHと
する。
【0036】(2)予測誤差演算部5でブロック内のL
1(<L)個の画素を用いて予測誤差PE1を求め、比
較部6で予測誤差PE1としきい値THとを比較する。
【0037】(3)予測誤差PE1がしきい値以下であ
れば、予測誤差演算部5でブロック内のL2(L1<L
2≦L)個の画素を用いて予測誤差PE2を求め、比較
部7で予測誤差PE2と最小値MIN_PEとを比較
し、予測誤差PE2が最小値MIN_PEより小さけれ
ば、予測誤差PE2を新たに最小値MIN_PEとして
動きベクトルとともにレジスタ8に格納する。
【0038】(4)(2)および(3)の処理を全ての
候補ブロックに対して行い、最後にレジスタ8に格納さ
れている動きベクトルを最適な動きベクトルとする。
【0039】なお、上記の処理の初期設定として予測誤
差PE2の最小値MIN_PEを予測誤差PE2の取り
得る最大の値としてレジスタ8にセットする。また、全
ての候補ブロックにおいて、予測誤差PE1がしきい値
THより大きかった場合、動きベクトルを決める手段と
しては、 (1)特定の動きベクトルを用いる (2)直前の予測対象ブロックと同じ動きベクトルを用
いる (3)予測誤差PE1が最小となる候補ブロックへの動
きベクトルを最適な動きベクトルとする 方法がある。
【0040】(1)の方法は、初期設定において、動き
ベクトルとして(0、0)等特定の値をレジスタ8にセ
ットすることで行える。
【0041】(2)の方法は、初期設定において、レジ
スタ8の動きベクトルの設定を行わず、直前の処理の値
を保持することで行える。
【0042】(3)の方法は、予測誤差PE1の最小値
とその時の動きベクトルの値を記憶する手段を設けるこ
とにより行うことができる。
【0043】図7は予測誤差PE1の最小値を求める手
段を説明する図である。同図において、77は比較部、
78はレジスタであり、比較部77は予測誤差PE1と
レジスタ8に格納された予測誤差PE1の最小値を比較
し、レジスタ78は予測誤差PE1の最小値とこれに対
する動きベクトルを格納するものである。レジスタ78
は予測誤差PE1がすでに格納されている予測誤差PE
1の最小値より小さい場合に更新される。このように比
較部77、レジスタ78を予測誤差演算部5に付加する
ことにより(3)の方法が実施できる。
【0044】上記の方法においてブロックマッチングに
必要な計算量について説明する。ここで、subは減
算、addは加算、opsは計算量を示す。また、ブロ
ックの大きさが16×16の矩形ブロック、動きベクト
ルの探索範囲は水平方向、垂直方向ともに−15〜+1
5の矩形領域、動きベクトルの精度は1画素単位である
ものと仮定する。
【0045】L1=16、L2=256と仮定すると上
記の処理で必要となる計算量は、 予測誤差PE1の計算:16(sub)+15(ad
d)=31ops 予測誤差PE1としきい値THの比較:1ops 予測誤差PE2の計算:240(sub)+240(a
dd)=480ops 予測誤差PE2と最小値MIN_PEの比較:1ops となるので、予測誤差PE2が求められる候補ブロック
の数をαとすると、(31+1)×312 +(480+
1)×α=30752+481αopsとなる。
【0046】以上のことから予測誤差PE1がしきい値
TH以下である候補ブロックに対してのみ予測誤差PE
2を求めることによりフルサーチより少ない計算量で動
きベクトルを求めることができる。
【0047】図6はL1個の画素についての予測誤差を
求める際に用いる画素を説明する図である。図6中黒正
方形はL1(16)個の画素についての予測誤差を求め
る際に用いられる画素を示す。
【0048】上記方程式を現在ISOで標準化作業が進
められている動画像符号化方式MPEG2の動きベクト
ル検出部分に適用した場合について説明する。予測誤差
PE1を求める際には、図6に示す16個の画素を用
い、しきい値THは320とした。また、全ての候補ブ
ロックの予測誤差PE1がしきい値THより大きかった
場合、予測誤差PE1が最小となる候補ブロックへの動
きベクトルを最適な動きベクトルとした。
【0049】なお、シーケンス1はパンニングを伴う2
秒間の動画像、シーケンス2は水平方向および垂直方向
に移動する物体が存在する2秒間の動画像である。
【0050】(1)PE1>THとなり削除された候補
ブロックの割合は(単位:%)、シーケンス1では7
0.09、シーケンス2では80.28である。
【0051】(2)フルサーチで求めた動きベクトルと
の差の平均値(単位:画素)は、次の通りである。
【0052】FDは予測対象フレームと参照フレームと
の間の距離を示す。本実施例のみでなく参考のために3
ステップサーチ、2ステップサーチの結果も併記する。
【0053】 シーケンス 1 FD 3ステップサーチ 2ステツプサーチ 本実施例 X Y X Y X Y 1 1.21 1.40 0.97 0.83 0.08 0.09 2 1.59 1.38 1.43 1.13 0.25 0.25 3 2.20 1.89 1.84 1.47 0.52 0.45 シーケンス 2 FD 3ステップサーチ 2ステツプサーチ 本実施例 X Y X Y X Y 1 1.50 1.38 1.60 1.36 0.11 0.10 2 1.83 1.36 1.18 0.89 0.18 0.15 3 2.17 1.80 1.91 1.43 0.27 0.20 (3)再生画像の輝度信号の画質(SNR、単位:d
b) 本実施例のみでなく参考のために3ステップサーチ、2
ステップサーチの結果も併記する。なお、括弧内の値は
フルサーチとの差である。
【0054】 シーケンス 1 フルサーチ 3ステップサーチ 2ステップサーチ 本実施例 28.20 27.14 27.30 27.90 (−0.88) (−0.72) (−0.12) シーケンス 2 フルサーチ 3ステップサーチ 2ステップサーチ 本実施例 25.96 24.57 24.99 25.85 (−1.39) (−0.97) (−0.11) 以上の結果から本実施例ではフルサーチと比較して計算
量を70%から80%削減しても精度的にも画質(SN
R)の点でもほぼ同等の動きベクトルが得られることが
わかる。また、3ステップサーチおよび2ステップサー
チと比較すると、より正確に動きベクトルを求めること
ができ画質もよい。
【0055】図2は本発明の動きベクトル検出回路の第
2実施例を示す図である。図1の回路にカウンタ21と
比較部22とが付加されている。カウンタ21は予測誤
差PE1がしきい値TH以下である候補ブロックの数を
数える。比較部22はカウンタ21の値と予測誤差PE
2を求める候補ブロックの数の最大値M(<総数N)の
値を比較する。
【0056】以下処理手順を説明する。
【0057】(1)カウンタ21を0、予測誤差PE1
のしきい値をTH、予測誤差PE2を求める候補ブロッ
クの数の最大値をMとする。
【0058】(2)予測誤差演算部5でブロック内のL
1(<L)個の画素を用いて予測誤差PE1を求め、比
較部6で予測誤差PE1としきい値THを比較する。
【0059】(3)予測誤差PE1がしきい値TH以下
であればカウンタ1をインクリメントし、予測誤差演算
部5でL2(L1<L2≦L)個の画素を用いて予測誤
差PE2を求め、比較部7で予測誤差PE2と最小値M
IN_PEを比較し、予測誤差PE2が最小値MIN_
PEより小さければ、予測誤差PE2を新たに最小値M
IN_PEとして動きベクトルとともにレジスタ8に格
納する。
【0060】(4)(2)から(3)までの処理をカウ
ンタ21の値がMに等しくなるか、候補ブロックがなく
なるまで行い、最後にレジスタ8に格納されている動き
ベクトルを最適な動きベクトルとする。
【0061】なお、全ての候補ブロックにおいて予測誤
差PE1がしきい値THより大きかった場合の処理は前
記第1実施例の場合と同じである。
【0062】上記の方式におけるブロックマッチングに
必要な計算量について説明する。ここで、subは減
算、addは加算、opsは計算量を示す。また、ブロ
ックの大きさが16×16の矩形ブロック、動きベクト
ルの探索範囲は水平方向、垂直方向ともに−15〜+1
5の矩形領域、動きベクトルの精度は1画素単位である
ものと仮定する。
【0063】L1=16、L2=256と仮定すると上
記の処理で必要となる計算量は、 予測誤差PE1の計算:16(sub)+15(ad
d)=31ops 予測誤差PE1としきい値THの比較:1ops 予測誤差PE2の計算:240(sub)+240(a
dd)=480ops 予測誤差PE2と最小値MIN_PEの比較:1ops となるので、予測誤差PE1が求めた候補ブロックの数
をβ、予測誤差PE2が求められる候補ブロックの数を
αとすると、(31+1)×β+(480+1)×α=
32β+481αopsとなる。ただし、最大値は30
752+481Mopsである。
【0064】以上のことから予測誤差PE1がしきい値
TH以下である候補ブロックに対してのみ予測誤差PE
2を求めることによりフルサーチより少ない計算量で動
きベクトルを求めることができる。
【0065】図3は本発明の動きベクトル検出回路の第
3実施例を示す図である。図1の回路にカウンタ31、
比較部32、しきい値TH、M更新部33とが付加され
ている。カウンタ31は予測誤差PE1がしきい値TH
以下である候補ブロックの数を数える。比較部32はカ
ウンタ31の値と予測誤差PE2を求める候補ブロック
の数の最大値M(<N)の値を比較する。しきい値T
H、M更新部33はカウンタ31の値がMより大きい場
合、しきい値THを減少方向に更新し、Mを増加方向に
更新する。
【0066】以下処理手順を説明する。
【0067】(1)カウンタ31を0、予測誤差PE1
のしきい値をTH、予測誤差PE2を求める候補ブロッ
クの数の最大値をMとする。
【0068】(2)予測誤差演算部5でブロック内のL
1(<L)個の画素を用いて予測誤差PE1を求め、比
較部6で予測誤差PE1としきい値THを比較する。
【0069】(3)予測誤差PE1がしきい値TH以下
であれば予測誤差演算部5でL2(L1<L2≦L)個
の画素を用いて予測誤差PE2を求め、比較部7で予測
誤差PE2と最小値MIN_PEを比較し、予測誤差P
E2が最小値MIN_PEより小さければ、予測誤差P
E2を新たに最小値MIN_PEとして動きベクトルと
ともにレジスタ8に格納するとともにカウンタ31をイ
ンクリメントし、比較部32でカウンタ31の値とMと
を比較し、カウンタ31の値がMより大きい場合、しき
い値TH、M更新部33でしきい値THを減少方向に更
新し、Mを増加方向に更新する。
【0070】(4)(2)から(3)までの処理を全て
の候補ブロックに対して行い、最後にレジスタ8に格納
されている動きベクトルを最適な動きベクトルとする。
【0071】なお、全ての候補ブロックにおいて予測誤
差PE1がしきい値THより大きかった場合の処理は前
記第1実施例の場合と同じである。
【0072】上記の方式におけるブロックマッチングに
必要な計算量について説明する。ここで、subは減
算、addは加算、opsは計算量を示す。また、ブロ
ックの大きさが16×16の矩形ブロック、動きベクト
ルの探索範囲は水平方向、垂直方向ともに−15〜+1
5の矩形領域、動きベクトルの精度は1画素単位である
ものと仮定する。
【0073】L1=16、L2=256と仮定すると上
記の処理で必要となる計算量は、 予測誤差PE1の計算:16(sub)+15(ad
d)=31ops 予測誤差PE1としきい値THの比較:1ops 予測誤差PE2の計算:240(sub)+240(a
dd)=480ops 予測誤差PE2と最小値MIN_PEの比較:1ops となるので、予測誤差PE2が求められる候補ブロック
の数をαとすると、(31+1)×312 +(480+
1)×α=30752+481αposとなる。
【0074】以上のことから予測誤差PE1がしきい値
TH以下である候補ブロックに対してのみ予測誤差PE
2を求めることによりフルサーチより少ない計算量で動
きベクトルを求めることができる。なお、Mの最大値を
決めておき、カウンタ31の値がその値に等しくなった
ら、それ以降探索を打ち切ることにより上記の計算量を
一定値以下にすることも可能である。
【0075】図4は本発明の動きベクトル検出回路の第
4実施例を示す図である。本実施例では所定の時点でそ
れまでに予測誤差PE1を求めた候補ブロック数に対す
る予測誤差PE2を求めた候補ブロック数の割合Rに応
じてしきい値THを更新するものである。すなわち、R
が所定の値RTH未満であればしきい値THを増加方向
に更新し、RがRTHよりも大きい場合はしきい値TH
を減少方向に更新する。RがRTHに等しい場合は更新
しない。
【0076】図1の回路にカウンタ41、42、除算部
43、比較部44、しきい値TH更新部45とが付加さ
れている。カウンタ41はそれまでに予測誤差PE1を
求めた候補ブロックの数を数える。カウンタ42は予測
誤差PE1がしきい値TH以下である候補ブロック数、
即ち、予測誤差PE2までを求めた候補ブロック数を数
える。除算部43はそれまでに予測誤差PE1を求めた
候補ブロックの数に対する、予測誤差PE2を求めた候
補ブロックの割合Rを求める。比較部44はRとRTH
とを比較する。しきい値TH更新部45はRがRTH未
満である場合THを増加方向に更新し、RがRTHより
大きい場合THを減少方向に更新する。RがRTHに等
しい場合は更新しない。
【0077】以下処理手順を説明する。
【0078】(1)カウンタ41、42を0、予測誤差
PE1のしきい値をTH、割合Rのしきい値をRTHと
する。
【0079】(2)予測誤差演算部5でブロック内のL
1(<L)個の画素を用いて予測誤差PE1を求め、カ
ウンタ41をインクリメントし、比較部6で予測誤差P
E1としきい値THとを比較する。
【0080】(3)予測誤差PE1がしきい値TH以下
であればカウンタ42をインクリメントし、予測誤差演
算部5でL2(L1<L2≦L)個の画素を用いて予測
誤差PE2を求め、比較部7で予測誤差PE2と最小値
MIN_PEを比較し、予測誤差PE2が最小値MIN
_PEより小さければ、予測誤差PE2を新たに最小値
MIN_PEとして動きベクトルとともにレジスタ8に
格納する。
【0081】(4)除算部43でカウンタ41の値に対
するカウンタ42の値の割合、即ち、それまでに予測誤
差PE1を求めた候補ブロック数に対する予測誤差PE
2までを求めた候補ブロック数の割合Rを求め、比較部
44でRとRTHとを比較し、割合RがRTHより大き
いときはしきい値TH更新部45でしきい値THを減少
方向に更新し、割合RがRTHよりも小さいときはしき
い値THを増加方向に更新する。
【0082】(5)(2)から(4)までの処理をすべ
ての候補ブロックに対して行い、最後にレジスタ8に格
納されている動きベクトルを最適な動きベクトルとす
る。
【0083】ここで(4)の処理は各候補ブロック毎に
行うことも、所定数の候補ブロックの処理が終了するた
びに行うことも可能である。また、割合Rとの比較を行
うRTHはその値に幅をもたせることも可能である。即
ち、α<RTH<βとすると、R>βのときにしきい値
THを減少の方向に更新し、R<αの時にしきい値TH
を増加させる方向に更新したり、あるいは、R>αの時
にしきい値THを減少方向に更新し、R<βのときにし
きい値THを増加方向に更新することも可能である。さ
らに、割合Rは必ずしも除算により求める必要はなく、
例えばカウンタ41の値とカウンタ42の値とを入力
し、所定の規則でその割合Rを出力するROMテーブル
を利用することが可能である。
【0084】なお、全ての候補ブロックにおいて予測誤
差PE1がしきい値THより大きかった場合の処理は前
記第1実施例の場合と同じである。
【0085】上記の方式におけるブロックマッチングに
必要な計算量について説明する。ここで、subは減
算、addは加算、opsは計算量を示す。また、ブロ
ックの大きさが16×16の矩形ブロック、動きベクト
ルの探索範囲は水平方向、垂直方向ともに−15〜+1
5の矩形領域、動きベクトルの精度は1画素単位である
ものと仮定する。
【0086】L1=16、L2=256と仮定すると上
記の処理で必要となる計算量は、 予測誤差PE1の計算:16(sub)+15(ad
d)=31ops 予測誤差PE1としきい値THの比較:1ops 予測誤差PE2の計算:240(sub)+240(a
dd)=480ops 予測誤差PE2と最小値MIN_PEの比較:1ops となるので、予測誤差PE2が求められる候補ブロック
の数をαとすると、(31+1)×312 +(480+
1)×α=30752+481αopsとなる。
【0087】以上のことから予測誤差PE1がしきい値
TH以下である候補ブロックに対してのみ予測誤差PE
2を求めることによりフルサーチより少ない計算量で動
きベクトルを求めることができる。
【0088】なお、予測誤差PE2を求める候補ブロッ
クの数の最大値をM(<N)とし、予測誤差PE2を求
めた候補ブロックの数がMになったら、それ以降探索を
打ち切ることにより上記の計算量を一定値以下にするこ
とも可能である。
【0089】図5は本発明の動きベクトル検出回路の第
5実施例を示す図である。本実施例では図1の回路にカ
ウンタ51、比較部52、メモリ53とが付加されてい
る。
【0090】カウンタ51はそれまでに予測誤差PE1
がしきい値TH以下である候補ブロックの数を数える。
比較部52はカウンタ51の値と、予測誤差PE2を求
める候補ブロックの数の最大値M(<N)の値を比較す
る。メモリ53は、予測誤差PE1がしきい値TH以下
である候補ブロックの情報(予測誤差PE1、動きベク
トル)を格納するメモリである。ここでは、予測誤差P
E1の値をもとにして二分木を用いて情報を格納するも
のとする。
【0091】以下処理手順を説明する。
【0092】(1)カウンタ51を0、予測誤差PE1
のしきい値をTH、予測誤差PE2を求める候補ブロッ
ク数の最大値をMとする。
【0093】(2)予測誤差演算部5で全ての候補ブロ
ックに対してブロック内のL1(<L)個の画素を用い
て予測誤差PE1を求め、比較部6で予測誤差PE1と
しきい値THを比較し、予測誤差PE1がしきい値TH
以下であれば、その候補ブロックへの動きベクトルと予
測誤差PE1をメモリ53に2分木の形で格納するとと
もにカウンタ51をインクリメントする。
【0094】(3)比較部52でカウンタ51の値とM
とを比較し、カウンタ51の値がM以下であれば、メモ
リ53に格納されている全ての候補ブロックに対して、
予測誤差演算部5でL2(L1<L2≦L)個の画素を
用いて予測誤差PE2を求める。カウンタ51の値がM
より大きい場合、メモリ53の2分木を予測誤差PE1
の小さい順にたどり、M個の候補ブロックに対して予測
誤差演算部5でL2個の画素を用いて予測誤差PE2を
求める。予測誤差PE2を求める際、比較部7で予測誤
差PE2と最小値MIN PEを比較し、予測誤差PE
2が最小値MIN PEより小さければ、予測誤差PE
2を新たに最小値MIN PEとして動きベクトルとと
もにレジスタ8に格納する。
【0095】(4)最後にレジスタ8に格納されている
動きベクトルを最適な動きベクトルとする。
【0096】なお、全ての候補ブロックにおいて、予測
誤差PE1がしきい値THより大きかった場合の処理は
前記第1実施例の場合と同じである。
【0097】上記の方式におけるブロックマッチングに
必要な計算量について説明する。ここで、subは減
算、addは加算、opsは計算量を示す。また、ブロ
ックの大きさが16×16の矩形ブロック、動きベクト
ルの探索範囲は水平方向、垂直方向ともに−15〜+1
5の矩形領域、動きベクトルの精度は1画素単位である
ものと仮定する。
【0098】L1=16、L2=256と仮定すると上
記の処理で必要となる計算量は、 予測誤差PE1の計算:16(sub)+15(ad
d)=31ops 予測誤差PE1としきい値THの比較:1ops 予測誤差PE2の計算:240(sub)+240(a
dd)=480ops 予測誤差PE2と最小値MIN PEの比較:1ops となるので、予測誤差PE2が求められる候補ブロック
の数をαとすると、(31+1)×312 +(480+
1)×α=30752+481αopsとなる。
【0099】最大値は30752+481Mopsであ
る。
【0100】以上のことから予測誤差PE1がしきい値
TH以下であるM個以下の候補ブロックに対してのみ予
測誤差PE2を求めることにより、計算量をフルサーチ
よりも少なく、しかも一定値以下に削減することができ
る。
【0101】
【発明の効果】本発明においては、演算手段が動き補償
予測を用いる動画像符号化に際し、予測対象画像を規定
するL個の画素からなるブロックおよび参照画像を規定
する候補ブロックに関してブロックマッチングをおこな
って動きベクトルを検出する回路であって、予測対象画
像を規定するブロックのL個より少ないL1個の画素に
関して候補ブロックとブロックマッチングをおこなって
第1予測誤差を算出するとともに算出された第1予測誤
差がしきい値以下の場合には該第1予測誤差に対応する
候補ブロックに対してのみL1より大きくかつL以下で
あるL2個の画素に関して動きベクトルを規定する第2
予測誤差を算出し、比較手段が演算手段により算出され
た第2予測誤差のうち動きベクトルを規定する最小の予
測誤差を検出するように第2予測誤差を比較するので、
ブロックマッチングに必要な計算量を大幅に削減し得、
かつ精度の高い動きベクトルを検出し得る。
【図面の簡単な説明】
【図1】本発明の動きベクトル検出回路の第1実施例を
示す図である。
【図2】本発明の動きベクトル検出回路の第2実施例を
示す図である。
【図3】本発明の動きベクトル検出回路の第3実施例を
示す図である。
【図4】本発明の動きベクトル検出回路の第4実施例を
示す図である。
【図5】本発明の動きベクトル検出回路の第5実施例を
示す図である。
【図6】L1個の画素についての予測誤差を求める際に
用いる画素を説明する図である。
【図7】予測誤差PE1の最小値を求める手段を説明す
る図である。
【符号の説明】
1、2 アドレス発生器 3、4 メモリ 5 予測誤差演算部 6、7 比較部 8 レジスタ 9 制御部 10 動きベクトル発生部

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 動き補償予測を用いる動画像符号化に際
    し、予測対象画像を規定するL個の画素からなるブロッ
    クおよび参照画像を規定する候補ブロックに関してブロ
    ックマッチングをおこなって動きベクトルを検出する回
    路であって、予測対象画像を規定するブロックのL個よ
    り少ないL1個の画素に関して候補ブロックとブロック
    マッチングをおこなって第1予測誤差を算出し、算出さ
    れた第1予測誤差がしきい値以下の場合には該第1予測
    誤差に対応する候補ブロックに対してのみL1より大き
    くかつL以下であるL2個の画素に関して第2予測誤差
    を算出する演算手段と、前記演算手段により算出された
    第2予測誤差のうち動きベクトルを規定する最小の予測
    誤差を検出するように第2予測誤差を比較する比較手段
    とを含むことを特徴とする動きベクトル検出回路。
  2. 【請求項2】 前記演算手段及び前記比較手段は、第2
    予測誤差を算出するための候補ブロックの数が候補ブロ
    ックの総数より少ない所定数となったとき最小の予測誤
    差の検出を行わないように構成されていることを特徴と
    する請求項1に記載の動きベクトル検出回路。
  3. 【請求項3】 前記比較手段は、第2予測誤差を算出す
    るための候補ブロックの数が候補ブロックの総数より少
    ない所定数となったとき該所定数の値を増加すべく更新
    し、しきい値を減少すべく更新するように構成されてい
    ることを特徴とする請求項1に記載の動きベクトル検出
    回路。
  4. 【請求項4】 前記比較手段は、第2予測誤差を算出し
    たときに第1予測誤差を算出するのに要した候補ブロッ
    ク数に対する第2予測誤差の算出に要した候補ブロック
    数の割合を算出し該割合が所定の値より大きいときはし
    きい値を減少するように更新し、所定の値より小さいと
    きはしきい値を増加するように更新することを特徴とす
    る請求項1に記載の動きベクトル検出回路。
  5. 【請求項5】 前記演算手段は、しきい値以下の値を有
    する第1予測誤差に対応する候補ブロックのうち、第1
    予測誤差の値の小さい順に関して候補ブロックの総数よ
    り少ない所定数までの第1予測誤差に対応する候補ブロ
    ックに対してのみ第2予測誤差を算出するように構成さ
    れていることを特徴とする請求項1に記載の動きベクト
    ル検出回路。
JP8303793A 1993-04-09 1993-04-09 動きベクトル検出方法 Expired - Fee Related JP3046689B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP8303793A JP3046689B2 (ja) 1993-04-09 1993-04-09 動きベクトル検出方法
US08/221,744 US5497338A (en) 1993-04-09 1994-03-31 Motion vector detecting circuit
EP94105476A EP0624981B1 (en) 1993-04-09 1994-04-08 Motion vector detecting circuit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8303793A JP3046689B2 (ja) 1993-04-09 1993-04-09 動きベクトル検出方法

Publications (2)

Publication Number Publication Date
JPH06296273A true JPH06296273A (ja) 1994-10-21
JP3046689B2 JP3046689B2 (ja) 2000-05-29

Family

ID=13791024

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8303793A Expired - Fee Related JP3046689B2 (ja) 1993-04-09 1993-04-09 動きベクトル検出方法

Country Status (1)

Country Link
JP (1) JP3046689B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005175872A (ja) * 2003-12-11 2005-06-30 Sony Corp 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
JP2006217405A (ja) * 2005-02-04 2006-08-17 Sony Corp 符号化装置および方法、復号装置および方法、情報処理システムおよび方法、記録媒体、並びにプログラム
JP2006229623A (ja) * 2005-02-17 2006-08-31 Sony Corp 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム、画像処理システムおよび方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005175872A (ja) * 2003-12-11 2005-06-30 Sony Corp 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
JP4525064B2 (ja) * 2003-12-11 2010-08-18 ソニー株式会社 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
JP2006217405A (ja) * 2005-02-04 2006-08-17 Sony Corp 符号化装置および方法、復号装置および方法、情報処理システムおよび方法、記録媒体、並びにプログラム
JP2006229623A (ja) * 2005-02-17 2006-08-31 Sony Corp 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム、画像処理システムおよび方法
JP4581733B2 (ja) * 2005-02-17 2010-11-17 ソニー株式会社 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム、画像処理システム

Also Published As

Publication number Publication date
JP3046689B2 (ja) 2000-05-29

Similar Documents

Publication Publication Date Title
US6456660B1 (en) Device and method of detecting motion vectors
EP0624981B1 (en) Motion vector detecting circuit
JPH0591492A (ja) 動きベクトル検出装置
JPH08223578A (ja) 動きベクトル探索方法および装置
US8837595B2 (en) Motion estimation method
JPH06296273A (ja) 動きベクトル検出回路
US10748292B2 (en) Image signal detection device
US8451900B2 (en) System and method for global motion estimation using profile matching
US11310460B2 (en) Image processing method
JPH0478286A (ja) 初期偏位ベクトルを用いた動きベクトルの検出方法
JPH05122590A (ja) 手ブレ補正機能付きビデオカメラの動きベクトル特定回路
JPH09182077A (ja) 画像符号化方法および画像符号化装置
JP2001285874A (ja) 動きベクトル探索装置、方法及びプログラムを記録した記録媒体
JP3237815B2 (ja) 動きベクトル探索方法および装置
JP2840007B2 (ja) 動きベクトル検出回路
JP2861971B2 (ja) 動ベクトル予測装置
JPH0614316A (ja) 動きベクトル検出装置
US11343526B2 (en) Method of video processing for calibrating motion vectors
JP3941900B2 (ja) 動きベクトル検出装置
JP2897669B2 (ja) 動きベクトル検出装置
JP2885039B2 (ja) 動きベクトル検出回路
CN113221841A (zh) 一种人脸检测和跟踪的方法、装置、电子设备和存储介质
JPH05336432A (ja) 画像の手振れ検出装置
JP3252417B2 (ja) 画像の手振れ補正装置
TW202112137A (zh) 用於獨立物件之運動估計的裝置以及方法

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees