JPH1051793A - Block matching device - Google Patents

Block matching device

Info

Publication number
JPH1051793A
JPH1051793A JP22170096A JP22170096A JPH1051793A JP H1051793 A JPH1051793 A JP H1051793A JP 22170096 A JP22170096 A JP 22170096A JP 22170096 A JP22170096 A JP 22170096A JP H1051793 A JPH1051793 A JP H1051793A
Authority
JP
Japan
Prior art keywords
reduced
pixels
pixel
template
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP22170096A
Other languages
Japanese (ja)
Inventor
Toshihiro Minami
俊宏 南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP22170096A priority Critical patent/JPH1051793A/en
Publication of JPH1051793A publication Critical patent/JPH1051793A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To reduce an operation quantity and to suppress a pixel data transfer quantity in a retrieval area, which is to be transferred, by sub-sampling pixels existing in a template one pixel by one, generating reduced templates and evaluating a difference of a value of the pixels in a corresponding position with a reduced block segmented from a reduced picture for the respective reduced templates. SOLUTION: A reduced template generation means 40 divides the template of four pixels × four lines into a small block of two pixels × two lines and samples a pixels existing in a prescribed position in a small block by one. Thus, the reduced templates ST1-4 are generated. A reduced block evaluation means 50 evaluates the difference of the values of the picture elements in a corresponding position with a reduced block of two pixels × two lines, which is segmented from a reduced picture of five pixels × five lines generated by a reduced picture generation means 30, for the respective reduced templates ST1-ST4 generated by the educed template generation means 40.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、動画像符号化や動
画像認識等において動きベクトルを検出するために用い
られるブロックマッチング装置に関するものである。
[0001] 1. Field of the Invention [0002] The present invention relates to a block matching apparatus used for detecting a motion vector in moving picture coding, moving picture recognition, and the like.

【0002】[0002]

【従来の技術】動きベクトルは、所定の画像において隣
接する複数の画素で構成される画素ブロックが、所定の
画像とは異なる画像中のどの位置から動いてきたかを示
すベクトルである。
2. Description of the Related Art A motion vector is a vector indicating from which position in a picture different from a prescribed picture a pixel block composed of a plurality of adjacent pixels in a prescribed picture has moved.

【0003】図7は、従来のブロックマッチング装置の
動作を説明する図であり、動き検出の対象となるテンプ
レートT0と探索領域R0との関係を示す図である。
FIG. 7 is a diagram for explaining the operation of a conventional block matching apparatus, and is a diagram showing a relationship between a template T0 to be subjected to motion detection and a search area R0.

【0004】従来のブロックマッチング装置は、所定画
像中の画素ブロックが他の画像中のどこに移動したかを
探索するものであり、つまり、探索領域R0は、上記他
の画像中の画素ブロックであり、テンプレートT0は、
上記所定の画像中の画素ブロック(現在の画像中の画素
ブロック)である。すなわち、従来のブロックマッチン
グ装置は、上記所定の画像から切り出した画素ブロック
であるテンプレートT0が、上記他の画像における探索
領域R0中のどこから移動したかを探索するものであ
る。また、画素3(△)は、テンプレートT0中の画素
であり、画素4(〇)は、探索領域R0中の画素であ
る。
The conventional block matching apparatus searches for where a pixel block in a predetermined image has moved in another image, that is, a search area R0 is a pixel block in the other image. , Template T0 is
This is a pixel block in the predetermined image (a pixel block in the current image). In other words, the conventional block matching apparatus searches for a position in the search area R0 in the other image from which the template T0, which is a pixel block cut out from the predetermined image, has moved. Pixel 3 (△) is a pixel in template T0, and pixel 4 (〇) is a pixel in search area R0.

【0005】図7では、探索領域R0の上にテンプレー
トT0を重ねて示してあるので、探索領域R0中、テン
プレートT0が重なっている部分における画素4(〇)
の表示が省略されている。また、図7において、テンプ
レートT0の矩形領域と探索領域R0の矩形領域の大き
さは、ともに4画素×4ラインであるが、両矩形領域の
大きさは、上記4画素×4ライン以外の大きさであって
もよい。なお、本明細書においては、水平方向の画素数
の単位を画素と呼び、垂直方向の画素数の単位をライン
と呼ぶ。また、1つの画素は、複数ビットで表現されて
いる。
In FIG. 7, since the template T0 is superimposed on the search region R0, the pixel 4 (〇) in the portion where the template T0 overlaps in the search region R0.
Is omitted from the display. In FIG. 7, the size of the rectangular area of the template T0 and the size of the rectangular area of the search area R0 are both 4 pixels × 4 lines, but the size of both rectangular areas is a size other than the above 4 pixels × 4 lines. It may be. In this specification, the unit of the number of pixels in the horizontal direction is called a pixel, and the unit of the number of pixels in the vertical direction is called a line. One pixel is represented by a plurality of bits.

【0006】上記動きベクトルを検出する方法として、
従来、全探索ブロックマッチング法が知られている。こ
の全探索ブロックマッチング法は、まず、探索領域R0
から4画素×4ラインの画素ブロック5を切り出し、こ
の画素ブロック5における4画素×4ラインの各画素の
値と、テンプレートT0中の対応する位置に存在する画
素の値との違いを、画素毎に、差分絶対値または差分二
乗値等で算出し、これら算出値の総和を求め、次に、画
素ブロック5を1画素分左右または上下に移動し、この
移動後の新たな画素ブロック5における4画素×4ライ
ンの各画素の値と、上記テンプレートT0中の対応する
位置に存在する画素の値との違いを、画素毎に、差分絶
対値または差分二乗値等で算出し、これら算出値の総和
を求める。そして、このように、画素ブロック5を1画
素分左右または上下に順次、移動しながら、移動後の新
たな画素ブロック5における4画素×4ラインの各画素
の値と、上記テンプレートT0中の対応する位置に存在
する画素の値との違いを、画素毎に、差分絶対値または
差分二乗値等で算出し、これら算出値の総和である評価
値を求める。
As a method of detecting the motion vector,
Conventionally, a full search block matching method is known. In this full search block matching method, first, the search area R0
, A pixel block 5 of 4 pixels × 4 lines is cut out, and the difference between the value of each pixel of the 4 pixels × 4 lines in the pixel block 5 and the value of the pixel existing at the corresponding position in the template T0 is determined for each pixel. Next, a difference absolute value or a difference square value is calculated, the sum of these calculated values is calculated, and then the pixel block 5 is moved left and right or up and down by one pixel. The difference between the value of each pixel of the pixel × 4 line and the value of the pixel existing at the corresponding position in the template T0 is calculated for each pixel by a difference absolute value or a difference square value. Find the sum. As described above, while sequentially moving the pixel block 5 left and right or up and down by one pixel, the value of each pixel of 4 pixels × 4 lines in the new pixel block 5 after the movement and the correspondence in the template T0 Then, the difference from the value of the pixel existing at the position to be calculated is calculated for each pixel by a difference absolute value, a difference square value, or the like, and an evaluation value that is a sum of these calculated values is obtained.

【0007】そして、上記評価値が最も小さい画素ブロ
ックに対応する位置から、テンプレートT0が移動して
きたと判断する。この場合、図7の例では、探索領域R
0が11画素×11ラインで構成されているので、テン
プレートT0が水平方向に8回移動し、垂直方向にも8
回移動する。つまり、テンプレートT0と比較して評価
すべき画素ブロック5の数は、8×8=64組であり、
評価値の数は64個である。
Then, it is determined that the template T0 has moved from the position corresponding to the pixel block having the smallest evaluation value. In this case, in the example of FIG.
Since 0 is composed of 11 pixels × 11 lines, the template T0 moves eight times in the horizontal direction and also moves eight times in the vertical direction.
Move times. That is, the number of pixel blocks 5 to be evaluated in comparison with the template T0 is 8 × 8 = 64 sets,
The number of evaluation values is 64.

【0008】また、図7に示す例において、動きベクト
ルの範囲を水平、垂直ともに−4〜+3とし、たとえ
ば、図7に示す画素ブロック5における評価値が最小で
あったとすると、その動きベクトルは(2,2)であ
る。
In the example shown in FIG. 7, if the range of the motion vector is -4 to +3 in both the horizontal and vertical directions and, for example, the evaluation value in the pixel block 5 shown in FIG. (2, 2).

【0009】なお、上記従来例では単画素精度(注目す
る画像が1画素を単位として移動した場合にその移動を
検出する方法)における動きを検出する例を示してある
が、注目画像は、水平方向または垂直方向に整数画素数
分移動するとは限らず、実際には、動きを検出すべき探
索領域R0中のブロックとテンプレートT0との間に、
1画素分以下のずれが存在する場合が多い。また、評価
式として何を用いるかは本発明の本質ではないので、以
下では、便宜上、差分絶対値を評価式として用いる場合
について説明する。
In the above-mentioned conventional example, an example is shown in which a motion is detected with single pixel accuracy (a method of detecting the movement when the image of interest moves in units of one pixel). It does not necessarily move in the direction or the vertical direction by an integer number of pixels, and in fact, between the block in the search area R0 where the motion is to be detected and the template T0,
In many cases, a shift of one pixel or less exists. Further, since what is used as the evaluation formula is not the essence of the present invention, a case where the absolute difference value is used as the evaluation formula will be described below for convenience.

【0010】上記従来の全探索ブロックマッチング法に
おいて、全矩形領域を評価するためには、テンプレート
T0と比較して評価すべき画素ブロック5の組が64組
であり、各画素ブロック5には16画素が含まれるの
で、64×16=1024回、差分絶対値を計算する必
要があり、演算量が多いという問題がある。
In the above-described conventional full search block matching method, in order to evaluate an entire rectangular area, there are 64 sets of pixel blocks 5 to be evaluated in comparison with the template T0. Since pixels are included, it is necessary to calculate the absolute difference value 64 × 16 = 1024 times, and there is a problem that the amount of calculation is large.

【0011】また、上記従来の全探索ブロックマッチン
グ法において、探索領域R0中の画素が、通常、メモリ
に格納され、このメモリから、ブロックマッチング装置
(動きベクトルを評価する装置)に転送されるが、この
場合、探索領域R0が11画素×11ラインで構成され
ているので、11画素×11ライン=121画素を転送
する必要があり、この転送量が多いという問題がある。
In the above-described conventional full search block matching method, pixels in the search area R0 are usually stored in a memory, and transferred from this memory to a block matching device (a device for evaluating a motion vector). In this case, since the search area R0 is composed of 11 pixels × 11 lines, it is necessary to transfer 11 pixels × 11 lines = 121 pixels, and there is a problem that the transfer amount is large.

【0012】そこで、上記演算量と転送量とを削減する
ために次の方法が知られている。この方法は、第1ステ
ップと第2ステップとで構成され、第1ステップでは、
複数の画素から1つの画素を選択するサブサンプリング
を行い、このようにサブサンプリングすることによって
縮小画像を得、この縮小画像上で動きを評価し、この第
1ステップに続く第2ステップにおいて、上記第1ステ
ップで得られた動きベクトルを初期変移とし、サブサン
プリング前の画像上で狭い範囲のみ探索する方法であ
る。
Therefore, the following method is known to reduce the amount of calculation and the amount of transfer. The method comprises a first step and a second step, wherein in the first step:
Sub-sampling for selecting one pixel from a plurality of pixels is performed, a reduced image is obtained by performing the sub-sampling in this way, motion is evaluated on the reduced image, and in a second step following the first step, In this method, the motion vector obtained in the first step is used as an initial displacement, and only a narrow range is searched on the image before sub-sampling.

【0013】図8は、上記従来例において、2画素×2
ラインから1画素をサブサンプリングするときに、取り
出される画素を示す図である。
FIG. 8 shows two pixels × 2 pixels in the above conventional example.
FIG. 7 is a diagram illustrating pixels extracted when one pixel is sub-sampled from a line.

【0014】この従来例においては、テンプレートT0
からも探索領域R0からもサンプリングされ、画素6
(▲)は、テンプレートT0からサブサンプリングされ
る画素であり、画素7(●)は、探索領域R0からサブ
サンプリングされる画素である。したがって、図8に示
す例において、縮小画像上では、全矩形領域を評価する
ために、テンプレートT0と比較して評価すべき領域の
組が16組であり、この1つの組が2画素×2ラインで
構成されているので、16×4=64回の差分絶対値計
算を行う必要があり、また、転送する場合には、画素7
の数である5画素×5ライン=25画素の探索領域画素
7(●)を転送する必要がある。さらに、上記第2ステ
ップとして、サブサンプリング前の画像上で上記初期変
移の周り−1〜+1を探索する場合、テンプレートT0
に含まれる16画素について差分絶対値を計算し、この
テンプレートT0を水平方向に3画素分移動し、垂直方
向に3ライン分の合計9回移動させて差分絶対値を計算
するので、16×9=144回の差分絶対値計算が必要
であり、また、探索すべき6画素×6ライン=36画素
について探索領域画素の転送が必要である。演算量と転
送量との合計は、64+144=208回であり、ま
た、25+36=61画素であるので、上記2画素×2
ラインから1画素をサブサンプリングするサブサンプリ
ング法は、上記従来の全探索ブロックマッチング法より
も、演算量と転送量との合計が大幅に削減される。
In this conventional example, the template T0
From the search area R0, the pixel 6
(▲) is a pixel sub-sampled from the template T0, and a pixel 7 (●) is a pixel sub-sampled from the search area R0. Therefore, in the example shown in FIG. 8, in order to evaluate the entire rectangular area on the reduced image, there are 16 sets of areas to be evaluated in comparison with the template T0, and this set is 2 pixels × 2 Since it is composed of lines, it is necessary to perform 16 × 4 = 64 difference absolute value calculations.
It is necessary to transfer the search area pixels 7 (●) of 5 pixels × 5 lines = 25 pixels, which is the number of pixels. Further, when searching for -1 to +1 around the initial transition on the image before subsampling as the second step, the template T0
, The absolute value of the difference is calculated for the 16 pixels included in, and the template T0 is moved by three pixels in the horizontal direction and is moved nine times in total in the vertical direction for three lines to calculate the absolute value of the difference. = 144 difference absolute value calculations are required, and the search area pixels need to be transferred for 36 pixels × 6 lines = 36 pixels to be searched. The sum of the calculation amount and the transfer amount is 64 + 144 = 208 times, and 25 + 36 = 61 pixels.
The sub-sampling method of sub-sampling one pixel from a line greatly reduces the sum of the amount of calculation and the amount of transfer as compared with the above-described conventional full search block matching method.

【0015】ただし、上記縮小画像で動きベクトルを求
める方法において、画像にノイズが含まれる場合には、
検出精度が劣化するという欠点がある。
However, in the above method of obtaining a motion vector from a reduced image, if the image contains noise,
There is a disadvantage that the detection accuracy is deteriorated.

【0016】図9は、画像にノイズが含まれる場合に検
出精度が劣化するという欠点を排除するために提案され
た従来の方法であり、2画素×2ライン=4画素の平均
値を計算して縮小画像を作成する方法を示す図である。
FIG. 9 shows a conventional method proposed to eliminate the disadvantage that the detection accuracy is degraded when an image contains noise. The average value of 2 pixels × 2 lines = 4 pixels is calculated. FIG. 6 is a diagram showing a method of creating a reduced image by using the method.

【0017】上記縮小画像を使用して動きベクトルを求
める場合、画像にノイズが含まれているときに検出精度
の劣化を防止するには、図9に示すように2画素×2ラ
イン=4画素の平均値を計算し、これに基づいて、縮小
画像を作ればよい。画素8(▼)は、テンプレートT0
の上で2画素×2ライン=4画素のそれぞれの値を平均
値を計算して得られた値を有する画素であり、画素9
(◎)は、探索領域R0の上で2画素×2ライン=4画
素の平均値を計算して得られた値を有する画素である。
When a motion vector is obtained using the reduced image, in order to prevent the detection accuracy from deteriorating when the image contains noise, two pixels × 2 lines = 4 pixels as shown in FIG. May be calculated, and a reduced image may be created based on this. Pixel 8 (▼) corresponds to template T0
Is a pixel having a value obtained by calculating an average value of the respective values of 2 pixels × 2 lines = 4 pixels above
(◎) is a pixel having a value obtained by calculating an average value of 2 pixels × 2 lines = 4 pixels on the search area R0.

【0018】上記動きベクトル検出方法については、た
とえば、N.Hayashi, T.Kitsuki, I.Tamitani, H.Honma,
Y.Ooi, T.Miyazaki, K.Oobuchi, "A bidirectional mo
tioncompensation LSI with a compact motion estimat
or"IEICE Trans. Electron,E78-C, 12, pp. 1682-1690,
Dec.1995.に記載されている。
The motion vector detection method is described in, for example, N. Hayashi, T. Kitsuki, I. Tamitani, H. Honma,
Y.Ooi, T.Miyazaki, K.Oobuchi, "A bidirectional mo
tioncompensation LSI with a compact motion estimat
or "IEICE Trans. Electron, E78-C, 12, pp. 1682-1690,
Dec. 1995.

【0019】上記従来例は、4画素の平均値を計算して
得られた縮小画像上で、2画素精度の動きベクトルを求
めた後、単画素精度の動きベクトルを求める例である
が、上記文献では、2画素精度の動きベクトルを求めた
後、半画素精度の動きベクトルを求める例が記載されて
いる。
The above-mentioned conventional example is an example in which a motion vector of single pixel precision is obtained after a motion vector of two pixel precision is obtained on a reduced image obtained by calculating an average value of four pixels. The literature describes an example in which a motion vector with half-pixel accuracy is obtained after obtaining a motion vector with two-pixel accuracy.

【0020】[0020]

【発明が解決しようとする課題】上記従来の全探索ブロ
ックマッチング法は、上記のように、演算量が多いとい
う問題があり、また、メモリと動きベクトルを評価する
装置との間で、探索領域中の画素データの転送量が多い
という問題がある。
As described above, the conventional full search block matching method has a problem that the amount of calculation is large, and a search area between a memory and a device for evaluating a motion vector is required. There is a problem that a large amount of pixel data is transferred.

【0021】図10は、従来のサブサンプリング法にお
いて、動きベクトルを検出する対象である探索領域R0
中の縮小ブロックBLとテンプレートT0との間に、水
平方向に最大1画素、垂直方向に最大1ラインのずれが
存在していることを示す図である。
FIG. 10 shows a search area R0 from which a motion vector is detected in the conventional subsampling method.
FIG. 11 is a diagram showing that there is a shift of up to one pixel in the horizontal direction and up to one line in the vertical direction between the middle reduced block BL and the template T0.

【0022】従来の全探索ブロックマッチング法では、
最大でも水平方向0.5画素、垂直方向0.5ラインの
ずれしか存在しないが、サブサンプリング法では、2画
素精度で探索するので、画像が水平方向に奇数画素、垂
直方向に奇数ライン動いた場合、図10に示すように、
動きベクトルを検出する対象である探索領域R0内の縮
小ブロックBLとテンプレートT0との間に、水平方向
1画素、垂直方向1ラインのずれが存在する可能性があ
る。このために、従来の全探索ブロックマッチング法と
比べると、従来のサブサンプリング法は、誤った動きベ
クトルを検出しやすいという問題がある。
In the conventional full search block matching method,
Although there is only a shift of 0.5 pixel in the horizontal direction and 0.5 line in the vertical direction at the maximum, the sub-sampling method searches with an accuracy of 2 pixels, so the image has moved odd pixels in the horizontal direction and odd lines in the vertical direction. In this case, as shown in FIG.
There is a possibility that there is a displacement of one pixel in the horizontal direction and one line in the vertical direction between the reduced block BL in the search area R0 from which the motion vector is to be detected and the template T0. For this reason, the conventional sub-sampling method has a problem that an erroneous motion vector is easily detected as compared with the conventional full search block matching method.

【0023】さらに、従来のサブサンプリング法では、
単画素精度の動きベクトルを求めるステップが別途必要
になるという問題がある。
Further, in the conventional sub-sampling method,
There is a problem that a step for obtaining a motion vector with single pixel accuracy is required separately.

【0024】本発明は、従来の全探索ブロックマッチン
グ法と同程度の探索精度を維持しつつ、従来の全探索ブ
ロックマッチング法における演算量の1/4に演算量を
削減することができ、しかも、メモリからブロックマッ
チング装置に転送する探索領域中の画素データの転送量
を、従来の全探索ブロックマッチング法の1/4に抑え
ることができるブロックマッチング装置を提供すること
を目的とするものである。
According to the present invention, while maintaining the same search accuracy as the conventional full search block matching method, the calculation amount can be reduced to 1/4 of the calculation amount in the conventional full search block matching method. It is another object of the present invention to provide a block matching apparatus capable of suppressing the transfer amount of pixel data in a search area to be transferred from a memory to a block matching apparatus to one-fourth of a conventional full search block matching method. .

【0025】[0025]

【課題を解決するための手段】本発明は、探索領域中の
画素から水平方向に所定画素毎、垂直方向に所定ライン
毎に、サブサンプリングして縮小画像を作成し、テンプ
レート中の所定の位置に存在する画素を1画素づつサブ
サンプリングすることによって縮小テンプレートを複数
個作成し、各縮小テンプレート毎に、縮小画像から切り
出した縮小ブロックとの間で、対応する位置にある画素
間の値の違いを評価するものである。
According to the present invention, a reduced image is created by sub-sampling from a pixel in a search area every predetermined pixel in the horizontal direction and every predetermined line in the vertical direction, and a predetermined position in the template is determined. A plurality of reduced templates are created by sub-sampling the pixels existing in each pixel one by one, and for each reduced template, the difference in the value between the pixels at the corresponding positions between the reduced block cut out from the reduced image and each reduced template Is evaluated.

【0026】[0026]

【発明の実施の形態および実施例】図1は、本発明の一
実施例であるブロックマッチング装置BM1を示す図で
ある。図2は、ブロックマッチング装置BM1の動作を
示すフローチャートである。図3は、ブロックマッチン
グ装置BM1において、探索領域R1とテンプレートT
1との関係を示す図である。
DESCRIPTION OF THE PREFERRED EMBODIMENTS FIG. 1 is a diagram showing a block matching device BM1 according to one embodiment of the present invention. FIG. 2 is a flowchart illustrating the operation of the block matching device BM1. FIG. 3 shows the search area R1 and the template T in the block matching device BM1.
FIG. 4 is a diagram showing a relationship with the number 1;

【0027】ブロックマッチング装置BM1は、縮小画
像生成部30と、メモリMと、縮小テンプレート作成手
段40と、縮小ブロック評価手段50と、縮小テンプレ
ート選択手段60とを有する。
The block matching apparatus BM1 has a reduced image generation unit 30, a memory M, a reduced template creation unit 40, a reduced block evaluation unit 50, and a reduced template selection unit 60.

【0028】縮小画像作成手段30は、11画素×11
ラインの探索領域R1中の画素から水平方向に2画素
毎、垂直方向に2ライン毎にサンプリングすることによ
ってサブサンプリングし、これによって5画素×5ライ
ンの縮小画像SR1を作成する手段である。
The reduced image creating means 30 is 11 pixels × 11
Sub-sampling is performed by sampling every two pixels in the horizontal direction and every two lines in the vertical direction from pixels in the line search area R1, thereby creating a reduced image SR1 of 5 pixels × 5 lines.

【0029】メモリMは、探索領域R1中の画素のデー
タを格納するメモリであり、動きベクトルを評価する縮
小ブロック評価手段50にその画素のデータを転送する
メモリである。
The memory M is a memory for storing data of a pixel in the search area R1, and is a memory for transferring the data of the pixel to the reduced block evaluation means 50 for evaluating a motion vector.

【0030】縮小テンプレート作成手段40は、4画素
×4ラインのテンプレートを2画素×2ラインの小ブロ
ックに分割し、その小ブロックの中の所定位置に存在す
る画素を1画素づつサンプリングすることによってサブ
サンプリングし、これによって2画素×2ラインの縮小
テンプレートST1、ST2、ST3、ST4を作成す
る手段であり、縮小テンプレート作成部41、42、4
3、44を有する。縮小テンプレート作成部41、4
2、43、44は、それぞれ、縮小テンプレートST
1、ST2、ST3、ST4を作成する。
The reduced template creating means 40 divides a template of 4 pixels × 4 lines into small blocks of 2 pixels × 2 lines, and samples pixels existing at predetermined positions in the small blocks one by one. This is means for performing sub-sampling and thereby generating reduced templates ST1, ST2, ST3, ST4 of 2 pixels × 2 lines.
3, 44. Reduced template creation units 41, 4
2, 43 and 44 are reduced templates ST, respectively.
1, ST2, ST3, and ST4 are created.

【0031】縮小ブロック評価手段50は、縮小テンプ
レート作成手段40によって作成された各縮小テンプレ
ートST1、ST2、ST3、ST4毎に、縮小画像作
成手段30によって作成された5画素×5ラインの縮小
画像SR1内から切り出した2画素×2ラインの縮小ブ
ロックとの間で、対応する位置にある画素間の値の違い
を評価する手段であり、縮小テンプレートによる縮小ブ
ロック評価部51、52、53、54を有する。縮小ブ
ロック評価部51、52、53、54は、それぞれ、縮
小テンプレートST1、ST2、ST3、ST4によっ
て上記縮小ブロックを評価するものである。
The reduced block evaluation unit 50 generates a reduced image SR1 of 5 pixels × 5 lines created by the reduced image creation unit 30 for each of the reduced templates ST1, ST2, ST3, and ST4 created by the reduced template creation unit 40. This is a means for evaluating a difference in value between pixels at corresponding positions between a reduced block of 2 pixels × 2 lines cut out from the inside. The reduced block evaluation units 51, 52, 53, and 54 using reduced templates are Have. The reduced block evaluation units 51, 52, 53, and 54 evaluate the reduced blocks using reduced templates ST1, ST2, ST3, and ST4, respectively.

【0032】縮小テンプレート選択手段60は、縮小テ
ンプレート作成手段40によって作成された4個の縮小
テンプレートST1、ST2、ST3、ST4の中か
ら、縮小ブロック評価手段50によって得られた評価値
が最小である縮小テンプレートを選択する手段である。
The reduced template selecting means 60 has the smallest evaluation value obtained by the reduced block evaluating means 50 among the four reduced templates ST1, ST2, ST3 and ST4 created by the reduced template creating means 40. This is a means for selecting a reduced template.

【0033】一般的に表現すれば、ブロックマッチング
装置BM1は、所定画像中のa画素×bラインの画素ブ
ロックで構成されるテンプレートと、上記所定画像以外
の画像中におけるc画素×dライン(c≧a、d≧b)
で構成される探索領域の画像データから切り出されたa
画素×bラインの画素ブロックとの間で、対応する位置
に存在する画素間の値の違いを評価するブロックマッチ
ング装置である。
In general terms, the block matching device BM1 includes a template composed of pixel blocks of a pixels × b lines in a predetermined image and a c pixels × d lines (c ≧ a, d ≧ b)
A cut out from the image data of the search area composed of
This is a block matching device that evaluates a difference in value between pixels existing at corresponding positions between a pixel block of a pixel × b line.

【0034】そして、縮小画像作成手段30は、上記探
索領域の画像データから水平方向にm画素毎、垂直方向
にnライン毎にサンプリングすることによってサブサン
プリングし、(c/m)画素×(d/n)ラインの縮小
画像を作成する縮小画像作成手段の例である。
Then, the reduced image creating means 30 performs sub-sampling by sampling every m pixels in the horizontal direction and every n lines in the vertical direction from the image data of the search area, and obtains (c / m) pixels × (d / N) is an example of a reduced image creating means for creating a reduced image of a line.

【0035】縮小テンプレート作成手段40は、上記テ
ンプレートをm画素×nラインの小ブロックに分割し、
上記小ブロック中の所定の位置に存在する画素を1画素
づつサンプリングすることによってサブサンプリング
し、(a/m)画素×(b/n)ラインの縮小テンプレ
ートをm×n個作成する縮小テンプレート作成手段の例
である。
The reduced template creating means 40 divides the template into small blocks of m pixels × n lines,
Sub-sampling by sampling pixels existing at a predetermined position in the small block one pixel at a time to create m × n reduced templates of (a / m) pixels × (b / n) lines It is an example of the means.

【0036】縮小ブロック評価手段50は、上記縮小テ
ンプレート作成手段によって作成された上記縮小テンプ
レート毎に、上記縮小画像作成手段によって作成された
上記縮小画像内から切り出した(a/m)画素×(b/
n)ラインの画素ブロックとの間で、対応する位置にあ
る画素間の値の違いを評価する縮小ブロック評価手段の
例である。
The reduced block evaluation means 50 is for each of the reduced templates created by the reduced template creation means, (a / m) pixels × (b) cut out from the reduced image created by the reduced image creation means. /
n) An example of reduced block evaluation means for evaluating a difference in value between pixels at corresponding positions between a pixel block of a line and a pixel block of a line.

【0037】次に、ブロックマッチング装置BM1の動
作について説明する。
Next, the operation of the block matching device BM1 will be described.

【0038】図2に示すフローチャートにおいて、ま
ず、探索領域R1を構成する画素から所定の画素をサブ
サンプリングすることによって、縮小画像SR1を作成
する。つまり、探索領域R1の画像データを入力し(S
1)、探索領域R1を構成する画素のうちで、図3に示
す画素E11を選択し、この選択された画素E11をサ
ブサンプリングすることによって、縮小画像SR1を作
成する。
In the flowchart shown in FIG. 2, first, a reduced image SR1 is created by sub-sampling predetermined pixels from the pixels constituting the search region R1. That is, the image data of the search area R1 is input (S
1) The pixel E11 shown in FIG. 3 is selected from the pixels constituting the search region R1, and the reduced image SR1 is created by sub-sampling the selected pixel E11.

【0039】次に、縮小テンプレートST1、ST2、
ST3、ST4を作成する。つまり、テンプレートT1
の画素データを入力し(S11)、テンプレートT1を
構成する画素から画素E1をサブサンプリングすること
によって、1個目の縮小テンプレートST1を作成し
(S12)、テンプレートT1を構成する画素から画素
E2をサブサンプリングすることによって、2個目の縮
小テンプレートST2を作成し(S13)、テンプレー
トT1を構成する画素から画素E3をサブサンプリング
することによって、3個目の縮小テンプレートST3を
作成し(S14)、テンプレートT1を構成する画素か
ら画素E4をサブサンプリングすることによって、4個
目の縮小テンプレートST4を作成する(S15)。そ
して、評価の回数を示す関数nを1にセットする(S1
6)。
Next, the reduced templates ST1, ST2,
ST3 and ST4 are created. That is, the template T1
(S11), the first reduced template ST1 is created by sub-sampling the pixel E1 from the pixels forming the template T1 (S12), and the pixel E2 is converted from the pixels forming the template T1. The second reduced template ST2 is created by sub-sampling (S13), and the third reduced template ST3 is created by sub-sampling the pixel E3 from the pixels forming the template T1 (S14). A fourth reduced template ST4 is created by sub-sampling the pixel E4 from the pixels constituting the template T1 (S15). Then, a function n indicating the number of evaluations is set to 1 (S1).
6).

【0040】図4は、ブロックマッチング装置BM1に
おいて、4個の縮小テンプレートST1〜ST4を作成
する一例を示す図である。
FIG. 4 is a diagram showing an example of creating four reduced templates ST1 to ST4 in the block matching device BM1.

【0041】ブロックマッチング装置BM1において、
探索領域R1中の画素から上記従来例におけるサブサン
プリング法と同様に、画素7(●)をサブサンプリング
することによって、縮小画像SR1を作成する。つま
り、11画素×11ラインの探索領域R1中の画素から
水平方向に2画素毎、垂直方向に2ライン毎に、サブサ
ンプリングして5画素×5ラインの縮小画像SR1を作
成する。
In the block matching device BM1,
The pixel 7 (•) is sub-sampled from the pixels in the search region R1 in the same manner as the sub-sampling method in the above-described conventional example, thereby creating a reduced image SR1. That is, a sub-sampled image SR1 of 5 pixels × 5 lines is created by subsampling every two pixels in the horizontal direction and every two lines in the vertical direction from the pixels in the search region R1 of 11 pixels × 11 lines.

【0042】一方、テンプレートT1中の画素は、図3
に示すように、まず、互いに隣接する2画素×2ライン
=4画素を構成する画素E1(▲)、E2(▽)、E3
(★)、E4(☆)のうちで、左上の画素E1(▲)を
サブサンプリングし、縮小テンプレートST1を作成す
る。これと同様に、右上の画素E2(▽)、左下の画素
E3(★)、右下の画素E4(☆)をサブサンプリング
し、それぞれ、縮小テンプレートST2、ST3、ST
4を作成する。
On the other hand, the pixels in the template T1 are shown in FIG.
As shown in (1), first, pixels E1 ((), E2 (▽), and E3 constituting two pixels × 2 lines = 4 pixels adjacent to each other
Of the (★) and E4 (☆), the upper left pixel E1 (▲) is sub-sampled to create a reduced template ST1. Similarly, the upper right pixel E2 (▽), the lower left pixel E3 (★), and the lower right pixel E4 (☆) are sub-sampled, and the reduced templates ST2, ST3, ST
Create 4.

【0043】次に、縮小テンプレートST1〜ST4に
よって、縮小画像SR1を評価する。つまり、縮小画像
SR1から2画素×2ラインの縮小ブロックSI1を作
成し(S20)、縮小テンプレートST1によって縮小
ブロックSI1を評価し、その評価値EV11を得(S2
1)、縮小テンプレートST2によって縮小ブロックS
I1を評価し、その評価値EV12を得(S22)、縮小
テンプレートST3によって縮小ブロックSI1を評価
し、その評価値EV13を得(S23)、縮小テンプレー
トST4によって縮小ブロックSI1を評価し、その評
価値EV14を得る(S24)。そしてnを1インクリメ
ントし(S25)、ステップS20に戻り、縮小画像S
R1から2画素×2ラインの縮小ブロックSI2を作成
し、評価値EV21、EV22、EV23、EV24を得る。そ
して、ステップS20〜S25の動作を、所定回数繰り
返し、評価値EV31、EV32、EV33、EV34〜E
n1、EVn2、EVn3、EVn4を得る(S26)。
Next, the reduced image SR1 is evaluated using the reduced templates ST1 to ST4. In other words, to create a reduced block SI1 from the reduced image SR1 2 pixels × 2 lines (S20), evaluates the reduced block SI1 by the reduction template ST1, obtain the evaluation value EV 11 (S2
1), reduced block S by reduced template ST2
Evaluate the I1, the evaluation value EV 12 obtained (S22), evaluates the reduced block SI1 by the reduction template ST3, to evaluate the reduction unit SI1 the evaluation value EV 13 obtained (S23), by the reduction template ST4, the obtaining an evaluation value EV 14 (S24). Then, n is incremented by 1 (S25), the process returns to step S20, and the reduced image S
R1 to create a 2-pixel × 2 lines reduced block SI2, to obtain an evaluation value EV 21, EV 22, EV 23 , EV 24. Then, the operation of steps S20 to S25, repeated a predetermined number of times, evaluation value EV 31, EV 32, EV 33 , EV 34 ~E
Vn1 , EVn2 , EVn3 , and EVn4 are obtained (S26).

【0044】上記実施例においては、4個の縮小テンプ
レートST1〜ST4のそれぞれによって、縮小ブロッ
クSI1〜SInを順次、評価し、評価値を得るように
しているが、縮小ブロックSI1〜SInの1つについ
て、4個の縮小テンプレートST1〜ST4による評価
を同時に実行するようにしてもよい。
In the above embodiment, the reduced blocks SI1 to SIn are sequentially evaluated by each of the four reduced templates ST1 to ST4 to obtain an evaluation value, but one of the reduced blocks SI1 to SIn is obtained. , The evaluation using the four reduced templates ST1 to ST4 may be performed simultaneously.

【0045】そして、縮小テンプレート選択手段60
が、評価値EV11〜EVn4のうちで最小の評価値を選択
し(S31)、この最小の評価値に対応する縮小ブロッ
ク(画素ブロック)を出力し(S32)、上記最小の評
価値に対応する縮小テンプレートの動きベクトルを選択
する。なお、縮小テンプレートST1、ST2、ST
3、ST4の動きベクトルは、それぞれ、(2x,2
y)、(2x+1,2y)、(2x,2y+1)、(2
x+1,2y+1)である。なお、xとyとの範囲は、
それぞれ−2〜+1である。
Then, the reduced template selecting means 60
But selects the minimum evaluation value among the evaluation values EV 11 ~EV n4 (S31), and outputs the reduced block corresponding to the evaluation value of the minimum (pixel blocks) (S32), the above minimum evaluation value Select the motion vector of the corresponding reduced template. The reduced templates ST1, ST2, ST
3 and ST4 are (2x, 2
y), (2x + 1, 2y), (2x, 2y + 1), (2
x + 1,2y + 1). The range between x and y is
They are respectively -2 to +1.

【0046】上記実施例において、縮小テンプレートS
T1、ST2、ST3、ST4を作成する動作(S11
〜S15)を、縮小画像SR1を作成する動作(S1、
S2)よりも先に実行してもよく、また、縮小テンプレ
ートST1、ST2、ST3、ST4を作成する動作
(S11〜S15)と縮小画像SR1を作成する動作
(S1、S2)とを同時に実行するようにしてもよい。
In the above embodiment, the reduced template S
Operation for creating T1, ST2, ST3, ST4 (S11
To S15) are changed to the operation of creating the reduced image SR1 (S1,
It may be performed prior to S2), and the operations of creating reduced templates ST1, ST2, ST3, ST4 (S11 to S15) and the operations of creating reduced image SR1 (S1, S2) are performed simultaneously. You may do so.

【0047】図5は、ブロックマッチング装置BM1に
おいて、4個の縮小テンプレートST1、ST2、ST
3、ST4の中の1個が、全探索ブロックマッチング法
と同じ大きさのずれを持つことを説明する図である。
FIG. 5 shows four reduced templates ST1, ST2, ST in the block matching device BM1.
FIG. 3 is a diagram illustrating that one of ST4 has a deviation of the same size as that of the full search block matching method.

【0048】図5では、動きを検出されるべき探索領域
R1における縮小ブロックBL1と、縮小テンプレート
ST4との間に、水平方向、垂直方向共に0.3画素の
ずれがある場合を示してある。全探索ブロックマッチン
グ法に比べて、上記実施例は、評価画素数は1/4に減
少しているものの、縮小ブロックSI1と縮小テンプレ
ートST4との間におけるずれの大きさは、全探索ブロ
ックマッチング法で探索した場合のテンプレートと画素
ブロックとの間におけるずれの大きさと同じである。
FIG. 5 shows a case where there is a displacement of 0.3 pixels in both the horizontal and vertical directions between the reduced block BL1 in the search area R1 in which motion is to be detected and the reduced template ST4. In the above embodiment, although the number of evaluation pixels is reduced to 1/4 as compared with the full search block matching method, the size of the deviation between the reduced block SI1 and the reduced template ST4 is reduced by the full search block matching method. Is the same as the size of the displacement between the template and the pixel block when the search is made in step (1).

【0049】上記実施例では、縮小画像を縮小テンプレ
ート毎に評価するが、この場合、上記実施例では、探索
領域R1における画素のうち、水平方向の画素数を1/
2にし、ライン数を1/2したものが縮小画像であるの
で、縮小画像についてブロックマッチングする場合、探
索領域R1についてブロックマッチングするよりも、1
/4の画素数で評価することになる。つまり、上記実施
例は、従来の全探索ブロックマッチング法の1/4画素
数で評価するできることになる。
In the above embodiment, the reduced image is evaluated for each reduced template. In this case, in the above embodiment, among the pixels in the search area R1, the number of pixels in the horizontal direction is reduced by 1 /.
Since the reduced image is obtained by reducing the number of lines to 2 and reducing the number of lines by 、, when performing block matching on the reduced image, it is 1 more than block matching on the search region R1.
The evaluation is performed with the number of pixels of / 4. That is, in the above embodiment, the evaluation can be performed with 1/4 pixel number of the conventional full search block matching method.

【0050】また、上記実施例において、4個の縮小テ
ンプレートST1〜ST4のうちの1個と縮小ブロック
SInとの間のずれの大きさは、必ず、全探索ブロック
マッチング法におけるテンプレートT0と画素ブロック
5との間のずれの大きさと同じである。したがって、上
記実施例は、従来の全探索ブロックマッチング法と同程
度の精度を得ることができる。
Further, in the above embodiment, the magnitude of the displacement between one of the four reduced templates ST1 to ST4 and the reduced block SIn always corresponds to the template T0 and the pixel block in the full search block matching method. 5 is the same as the magnitude of the deviation. Therefore, the above embodiment can obtain the same level of accuracy as the conventional full search block matching method.

【0051】上記従来例では、画像にノイズが含まれる
場合、2画素×2ライン=4画素の平均値を計算して縮
小画像を作ることによって、低周波通過フィルタを構成
し、これによって、ノイズによる探索精度の劣化を防止
している。上記実施例においても、画像にノイズが含ま
れると、探索領域R1中のサブサンプリング画素E11
(●)にノイズが含まれる場合、探索精度が劣化する。
In the above conventional example, when an image contains noise, a low-frequency pass filter is formed by calculating an average value of 2 pixels × 2 lines = 4 pixels to create a reduced image. To prevent the search accuracy from deteriorating. Also in the above embodiment, if the image contains noise, the sub-sampling pixel E11 in the search region R1
When noise is included in (●), search accuracy deteriorates.

【0052】図6は、上記実施例においては、隣接4画
素のデータを平均した値をデータとして有する画素を使
用して、上記と同様の方法によって、ブロックマッチン
グする方法の説明図である。
FIG. 6 is an explanatory diagram of a method of performing block matching by the same method as described above, using pixels having, as data, an average value of data of four adjacent pixels in the above embodiment.

【0053】つまり、探索領域R1では、隣接4画素の
データを平均することによって得られる画素22と、同
様に隣接4画素のデータを平均することによって得られ
る画素23とのうちで、画素23をサブサンプリングし
て縮小画像を作成する。
That is, in the search area R1, of the pixels 22 obtained by averaging the data of four adjacent pixels and the pixels 23 obtained by averaging the data of four adjacent pixels in the same manner, Create a reduced image by subsampling.

【0054】一方、テンプレートT1は、2画素×2ラ
イン=4画素のうちで、左上の画素24(▼)、右上の
画素25(▽)、左下の画素26(★)、右下の画素2
7(☆27)をサブサンプリングし、4個の縮小テンプ
レートを作成する。これら4個の縮小テンプレートで同
時に縮小画像を評価し(同時に縮小画像を評価しなくて
もよい)、評価値を得、これらの評価値のうちで、最小
の評価値を得た縮小テンプレートを選択し、画素ブロッ
クを特定し、その動きベクトルを求める。
On the other hand, the template T1 has a pixel 24 (▼) at the upper left, a pixel 25 (▽) at the upper right, a pixel 26 (★) at the lower left, and a pixel 2 at the lower right among 2 pixels × 2 lines = 4 pixels.
7 (☆ 27) is subsampled to create four reduced templates. The reduced images are evaluated simultaneously with these four reduced templates (there is no need to evaluate the reduced images at the same time), the evaluation values are obtained, and among these evaluation values, the reduced template having the smallest evaluation value is selected. Then, a pixel block is specified, and its motion vector is obtained.

【0055】上記実施例によれば、ブロックマッチング
によって動きベクトルを求める場合、ブロックマッチン
グにおける探索精度を、従来の全探索ブロックマッチン
グ法と同程度に維持しつつ、ブロックマッチングにおけ
る演算量を、従来の全探索ブロックマッチング法の1/
4に削減できる。しかも、メモリMから探索領域中画素
を転送する量を、従来の全探索ブロックマッチング法の
1/4に抑えて、単画素精度の動きベクトルを直接求め
ることができる。
According to the above embodiment, when a motion vector is obtained by block matching, the amount of calculation in block matching is reduced while the search accuracy in block matching is maintained at the same level as in the conventional full search block matching method. 1 / of the full search block matching method
4 can be reduced. In addition, the amount of pixels to be transferred from the memory M in the search area can be reduced to one-fourth that of the conventional full search block matching method, and a motion vector with single pixel accuracy can be directly obtained.

【0056】なお、上記実施例においては、隣接する複
数の画素のデータを平均することによって、低域通過フ
ィルタを構成するようにしているが、ノイズ除去のため
の平滑化処理であれば、他の方法を採用するようにして
もよい。
In the above embodiment, the low-pass filter is constructed by averaging the data of a plurality of adjacent pixels. May be adopted.

【0057】また、上記各実施例では、4:1にサブサ
ンプリングする場合のみを説明したが、2:1、8:
1、16:1等の他の比率でサブサンプリングを行うこ
とによって縮小画像、縮小ブロックを作成するようにし
てもよい。この場合にも、上記と同様の効果を得ること
ができる。また、上記実施例では、隣接4画素のデータ
を平均した値を有する画素で構成される画像上で探索す
ることによって、精度の劣化を防止する例を示したが、
上記低域通過フィルタ以外の任意の低域通過フィルタを
かけることによって探索するようにしてもよく、これに
よって、精度の劣化を防止することができる。
In each of the above embodiments, only the case of subsampling at 4: 1 has been described.
A reduced image or reduced block may be created by performing subsampling at another ratio such as 1, 16: 1. In this case, the same effect as above can be obtained. Further, in the above-described embodiment, an example has been described in which the accuracy is prevented from deteriorating by searching on an image composed of pixels having a value obtained by averaging data of four adjacent pixels.
The search may be performed by applying an arbitrary low-pass filter other than the above-mentioned low-pass filter, whereby deterioration in accuracy can be prevented.

【0058】[0058]

【発明の効果】請求項1、2記載の発明によれば、ブロ
ックマッチングによって、動きベクトルを求める装置に
おいて、従来の全探索ブロックマッチング法における探
索精度と同程度の探索精度を維持しつつ、ブロックマッ
チングにおける演算量を、従来の全探索ブロックマッチ
ング法の1/4に削減することができ、しかも、探索領
域中画素の転送量を、従来の全探索ブロックマッチング
法の1/4に抑えて、単画素精度の動きベクトルを直接
求めることができるという効果を奏する。
According to the first and second aspects of the present invention, in an apparatus for obtaining a motion vector by block matching, block search is performed while maintaining search accuracy similar to that of the conventional full search block matching method. The amount of calculation in matching can be reduced to 1/4 of the conventional full search block matching method, and the transfer amount of pixels in the search area can be reduced to 1/4 of the conventional full search block matching method. There is an effect that a motion vector with single pixel accuracy can be directly obtained.

【0059】請求項3記載の発明によれば、画像にノイ
ズが含まれる場合でも、探索精度の劣化を起こさないと
いう効果を奏する。
According to the third aspect of the present invention, there is an effect that even if the image contains noise, the search accuracy does not deteriorate.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の一実施例であるブロックマッチング装
置BM1を示す図である。
FIG. 1 is a diagram showing a block matching device BM1 according to an embodiment of the present invention.

【図2】ブロックマッチング装置BM1の動作を示すフ
ローチャートである。
FIG. 2 is a flowchart illustrating an operation of the block matching device BM1.

【図3】ブロックマッチング装置BM1において、探索
領域R1とテンプレートT1との関係を示す図である。
FIG. 3 is a diagram showing a relationship between a search region R1 and a template T1 in the block matching device BM1.

【図4】ブロックマッチング装置BM1において、4個
の縮小テンプレートST1〜ST4を作成する一例を示
す図である。
FIG. 4 is a diagram showing an example of creating four reduced templates ST1 to ST4 in the block matching device BM1.

【図5】ブロックマッチング装置BM1において、4個
の縮小テンプレートST1、ST2、ST3、ST4の
中の1個が、全探索ブロックマッチング法と同じ大きさ
のずれを持つことを説明する図である。
FIG. 5 is a diagram for explaining that one of four reduced templates ST1, ST2, ST3, and ST4 has a displacement of the same size as that of the full search block matching method in the block matching device BM1.

【図6】上記実施例において、隣接4画素のデータを平
均した値をデータとして有する画素を使用して、ブロッ
クマッチングする方法の説明図である。
FIG. 6 is an explanatory diagram of a method of performing block matching using pixels having, as data, a value obtained by averaging data of four adjacent pixels in the embodiment.

【図7】従来のブロックマッチング装置の動作を説明す
る図であり、動き検出の対象となるテンプレートT0と
探索領域R0との関係を示す図である。
FIG. 7 is a diagram for explaining the operation of the conventional block matching device, and is a diagram showing a relationship between a template T0 to be subjected to motion detection and a search region R0.

【図8】上記従来例において、2画素×2ラインから1
画素をサブサンプリングするときに、取り出される画素
を示す図である。
FIG. 8 is a diagram showing an example in which 2 pixels × 2 lines correspond to 1
FIG. 7 is a diagram illustrating pixels extracted when sub-sampling pixels.

【図9】画像にノイズが含まれる場合に検出精度が劣化
するという欠点を排除するために提案された従来の方法
であり、2画素×2ライン=4画素の平均値を計算して
縮小画像を作成する方法を示す図である。
FIG. 9 is a conventional method proposed to eliminate a disadvantage that detection accuracy is deteriorated when an image includes noise, and calculates an average value of 2 pixels × 2 lines = 4 pixels to reduce a reduced image. FIG. 6 is a diagram showing a method of creating a.

【図10】従来のサブサンプリング法において、動きベ
クトルを検出する対象である探索領域R0中の縮小ブロ
ックBLとテンプレートT0との間に、水平方向に最大
1画素、垂直方向に最大1ラインのずれが存在している
ことを示す図である。
FIG. 10 shows a conventional subsampling method, in which a displacement of up to one pixel in the horizontal direction and up to one line in the vertical direction between a reduced block BL in a search area R0 from which a motion vector is to be detected and a template T0. It is a figure showing that exists.

【符号の説明】[Explanation of symbols]

BM1…ブロックマッチング装置、 30…縮小画像生成部、 M…メモリ、 40…縮小テンプレート作成手段、 41〜44…縮小テンプレート作成部、 ST1〜ST4…縮小テンプレート、 50…縮小ブロック評価手段、 51〜54…縮小ブロック評価部、 60…縮小テンプレート選択手段。 BM1: block matching device, 30: reduced image generation unit, M: memory, 40: reduced template creation unit, 41 to 44: reduced template creation unit, ST1 to ST4: reduced template, 50: reduced block evaluation unit, 51 to 54 ... Reduced block evaluator 60. Reduced template selecting means.

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】 所定画像中のa画素×bラインの画素ブ
ロックで構成されるテンプレートと、上記所定画像以外
の画像中におけるc画素×dライン(c≧a、d≧b)
で構成される探索領域の画像データから切り出されたa
画素×bラインの画素ブロックとの間で、対応する位置
に存在する画素間の値の違いを評価するブロックマッチ
ング装置において、 上記探索領域の画像データから水平方向にm画素毎、垂
直方向にnライン毎にサンプリングすることによってサ
ブサンプリングし、(c/m)画素×(d/n)ライン
の縮小画像を作成する縮小画像作成手段と;上記テンプ
レートをm画素×nラインの小ブロックに分割し、上記
小ブロック中の所定の位置に存在する画素を1画素づつ
サンプリングすることによってサブサンプリングし、
(a/m)画素×(b/n)ラインの縮小テンプレート
をm×n個作成する縮小テンプレート作成手段と;上記
縮小テンプレート作成手段によって作成された上記縮小
テンプレート毎に、上記縮小画像作成手段によって作成
された上記縮小画像内から切り出した(a/m)画素×
(b/n)ラインの画素ブロックとの間で、対応する位
置にある画素間の値の違いを評価する縮小ブロック評価
手段と;を有することを特徴とするブロックマッチング
装置。
1. A template composed of a pixel block of a pixel × b line in a predetermined image, and a c pixel × d line (c ≧ a, d ≧ b) in an image other than the predetermined image
A cut out from the image data of the search area composed of
In a block matching apparatus for evaluating a difference in a value between pixels existing at corresponding positions between a pixel block of a pixel × b line and a pixel block, the image data of the search area includes n pixels in the horizontal direction and n pixels in the vertical direction. A reduced image creating means for creating a reduced image of (c / m) pixels × (d / n) lines by sub-sampling by sampling every line; and dividing the template into small blocks of m pixels × n lines Sub-sampling by sampling pixels present at predetermined positions in the small block one by one,
(A / m) pixel × (b / n) reduced template creating means for creating m × n reduced templates; and reduced image creating means for each reduced template created by the reduced template creating means. (A / m) pixels cut out from the created reduced image ×
(B / n) a reduced block evaluation unit that evaluates a difference in value between pixels at corresponding positions between a pixel block on a line and a reduced block evaluation unit.
【請求項2】 請求項1において、 上記縮小テンプレート作成手段によって作成された上記
m×n個の縮小テンプレートの中から、上記縮小ブロッ
ク評価手段によって得られた評価値が最小である縮小テ
ンプレートを選択する縮小テンプレート選択手段を有す
ることを特徴とするブロックマッチング装置。
2. A reduced template having the smallest evaluation value obtained by said reduced block evaluation means is selected from said m × n reduced templates created by said reduced template creation means. A block matching apparatus, comprising:
【請求項3】 請求項1または請求項2において、 上記探索領域画像に含まれる各画素について、低域通過
フィルタによって高周波成分が低減された探索領域画像
と、上記低域通過フィルタと同じ低域通過フィルタによ
って高周波成分が低減されたテンプレートとを上記ブロ
ックマッチング装置に入力することを特徴とするブロッ
クマッチング装置。
3. The search area image according to claim 1, wherein, for each pixel included in the search area image, a search area image in which a high-frequency component is reduced by a low-pass filter; A block matching device, comprising: inputting a template whose high-frequency components have been reduced by a pass filter to the block matching device.
JP22170096A 1996-08-05 1996-08-05 Block matching device Pending JPH1051793A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP22170096A JPH1051793A (en) 1996-08-05 1996-08-05 Block matching device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22170096A JPH1051793A (en) 1996-08-05 1996-08-05 Block matching device

Publications (1)

Publication Number Publication Date
JPH1051793A true JPH1051793A (en) 1998-02-20

Family

ID=16770915

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22170096A Pending JPH1051793A (en) 1996-08-05 1996-08-05 Block matching device

Country Status (1)

Country Link
JP (1) JPH1051793A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6169766B1 (en) 1997-08-26 2001-01-02 Matsushita Electric Industrial Co., Ltd. Method and apparatus for detecting motion vector and image coding apparatus
JP2001169296A (en) * 1999-10-19 2001-06-22 Deutsche Thomson Brandt Gmbh Method for estimating motion of digital input video signal
US6370195B1 (en) 1998-04-14 2002-04-09 Hitachi, Ltd. Method and apparatus for detecting motion
JP2006127195A (en) * 2004-10-29 2006-05-18 Fujitsu Ltd Image sensor device and image sensor system
JP2007194973A (en) * 2006-01-20 2007-08-02 Victor Co Of Japan Ltd Motion vector detector
JP2009017113A (en) * 2007-07-03 2009-01-22 Casio Comput Co Ltd Validity determining device, image processor, and program
JP2012022654A (en) * 2010-07-16 2012-02-02 Canon Inc Image processing apparatus, image processing method and program
US9363515B2 (en) 2011-03-09 2016-06-07 Nippon Telegraph And Telephone Corporation Image processing method, image processing apparatus, video encoding/decoding methods, video encoding/decoding apparatuses, and non-transitory computer-readable media therefor that perform denoising by means of template matching using search shape that is set in accordance with edge direction of image
US9438912B2 (en) 2011-03-09 2016-09-06 Nippon Telegraph And Telephone Corporation Video encoding/decoding methods, video encoding/decoding apparatuses, and programs therefor

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6169766B1 (en) 1997-08-26 2001-01-02 Matsushita Electric Industrial Co., Ltd. Method and apparatus for detecting motion vector and image coding apparatus
US6370195B1 (en) 1998-04-14 2002-04-09 Hitachi, Ltd. Method and apparatus for detecting motion
US6496539B2 (en) 1998-04-14 2002-12-17 Hitachi, Ltd. Method and apparatus for detecting motion
JP2001169296A (en) * 1999-10-19 2001-06-22 Deutsche Thomson Brandt Gmbh Method for estimating motion of digital input video signal
JP2006127195A (en) * 2004-10-29 2006-05-18 Fujitsu Ltd Image sensor device and image sensor system
JP2007194973A (en) * 2006-01-20 2007-08-02 Victor Co Of Japan Ltd Motion vector detector
JP4674549B2 (en) * 2006-01-20 2011-04-20 日本ビクター株式会社 Motion vector detection device
JP2009017113A (en) * 2007-07-03 2009-01-22 Casio Comput Co Ltd Validity determining device, image processor, and program
JP2012022654A (en) * 2010-07-16 2012-02-02 Canon Inc Image processing apparatus, image processing method and program
US9667841B2 (en) 2010-07-16 2017-05-30 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US9363515B2 (en) 2011-03-09 2016-06-07 Nippon Telegraph And Telephone Corporation Image processing method, image processing apparatus, video encoding/decoding methods, video encoding/decoding apparatuses, and non-transitory computer-readable media therefor that perform denoising by means of template matching using search shape that is set in accordance with edge direction of image
US9438912B2 (en) 2011-03-09 2016-09-06 Nippon Telegraph And Telephone Corporation Video encoding/decoding methods, video encoding/decoding apparatuses, and programs therefor

Similar Documents

Publication Publication Date Title
US6380986B1 (en) Motion vector search method and apparatus
US8437401B2 (en) Refinement of motion vectors in hierarchical motion estimation
JP5044568B2 (en) Motion estimation using predictive guided decimation search
US8130835B2 (en) Method and apparatus for generating motion vector in hierarchical motion estimation
KR100492127B1 (en) Apparatus and method of adaptive motion estimation
KR100870115B1 (en) Method for forming image using block matching and motion compensated interpolation
US8644387B2 (en) Motion estimation method
US7782957B2 (en) Motion estimation circuit and operating method thereof
US20080260033A1 (en) Hybrid hierarchical motion estimation for video streams
US20050123039A1 (en) Motion estimation method for motion picture encoding and recording medium having program recorded thereon to implement the motion estimation method
US9406376B2 (en) Motion vector detection apparatus and method
JPH1051793A (en) Block matching device
US11704840B2 (en) Attribute information prediction method, encoder, decoder and storage medium
US9317904B2 (en) Image processing system and image processing method
TW201032594A (en) Motion estimation approach for real-time embedded multimedia design
JP2005506626A (en) Motion estimation unit and method, and image processing apparatus having such a motion estimation unit
US6823012B2 (en) Method and system for estimating motion vector at high speed for low bit-rate coding
JP4377693B2 (en) Image data search
US20130235274A1 (en) Motion vector detection device, motion vector detection method, frame interpolation device, and frame interpolation method
JP5788299B2 (en) Image search apparatus, image search method, and program
JP2006215655A (en) Method, apparatus, program and program storage medium for detecting motion vector
US20100260435A1 (en) Edge Directed Image Processing
JP5316309B2 (en) Image processing apparatus and image processing method
JP2008236096A (en) Movement search method, movement search apparatus, movement search program, and computer readable record medium recording its program
US9438908B1 (en) Motion vector interpolation based on true motion and layer information