JPH08223578A - Method for searching motion vector and device therefor - Google Patents

Method for searching motion vector and device therefor

Info

Publication number
JPH08223578A
JPH08223578A JP2397795A JP2397795A JPH08223578A JP H08223578 A JPH08223578 A JP H08223578A JP 2397795 A JP2397795 A JP 2397795A JP 2397795 A JP2397795 A JP 2397795A JP H08223578 A JPH08223578 A JP H08223578A
Authority
JP
Japan
Prior art keywords
block
signal
pixels
integrated
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2397795A
Other languages
Japanese (ja)
Inventor
Hisanori Ono
尚紀 小野
Yoshiyuki Yashima
由幸 八島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2397795A priority Critical patent/JPH08223578A/en
Publication of JPH08223578A publication Critical patent/JPH08223578A/en
Pending legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

PURPOSE: To reduce the operation amount while searching without lowering the detection accuracy of a motion vector in a block matching type motion vector detection. CONSTITUTION: A small area division part 9 reads the image 6 of the present frame, divides the image into plural blocks, calculates the feature amount of each block and integrates the blocks where the differences of the feature amount is within threshold into one block. A small area division part 10 reads the image 8 of the reference frame conforming to the shape of the integrated block of the present frame. Thinning processing parts 21 and 22 perform the thinnings of the picture elements of a present frame block signal 14 and a reference frame block signal 17. A matching error calculation part 27 calculates the difference value 28 of the block signals 23 and 24. When the difference value 28 is smaller than the value of a memory 30, a comparator 29 stores the value 31 that a present frame block reading start address signal 16 is subtracted from a reference frame block reading start address signal 18 in a vector memory 32.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、動画像の符号化方式に
関し、特に画像のフレーム信号を複数のブロックに分割
し、これら複数のブロックの動きベクトルを求める動き
ベクトル探索方法および装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving picture coding system, and more particularly to a motion vector search method and apparatus for dividing a frame signal of an image into a plurality of blocks and obtaining motion vectors of the plurality of blocks.

【0002】[0002]

【従来の技術】画像を矩形ブロックに分割し動きベクト
ルを探索するブロックマッチング型の動きベクトル探索
では、全探索法が最も高い精度を得られる手法として用
いられている。これは動きベクトルを求める対象となっ
ているブロックを中心とする探索範囲を参照される画像
内に設定し、探索範囲内で対象となるブロックと最も類
似するブロックを、絶対値差分や差分自乗和等を評価関
数として使用することで探し出し、相対位置を動きベク
トルとする手法である。従来は各ブロック独立に動きベ
クトルを求めていた。
2. Description of the Related Art In a block matching type motion vector search in which an image is divided into rectangular blocks and a motion vector is searched, a full search method is used as a method capable of obtaining the highest accuracy. This is to set the search range centered on the block for which the motion vector is to be calculated in the referenced image, and to set the block that is most similar to the target block within the search range to the absolute value difference or the sum of squared differences. This is a method of finding out by using, etc. as an evaluation function and using the relative position as a motion vector. In the past, each block independently obtained a motion vector.

【0003】[0003]

【発明が解決しようとする課題】全探索法では探索範囲
内全体で評価関数の計算を行なうため演算量は膨大なも
のとなる。演算量を容易に削減する方法としては、絶対
値差分や差分自乗和の評価の際にブロック内の画素を間
引いて評価を行なう手法が考えられるが、マッチング時
のサンプル点数が減少するため誤検出の可能性が増加す
るという問題点があった。
In the full search method, since the evaluation function is calculated in the entire search range, the amount of calculation becomes enormous. As a method to easily reduce the calculation amount, it is possible to thin out the pixels in the block when evaluating the absolute value difference or the sum of squared differences, but the number of sample points at the time of matching is reduced, so false detection is performed. There was a problem that the possibility of

【0004】本発明の目的は上記問題点を解決し、動き
ベクトルの検出精度を落さずに探索時の演算量を減少さ
せる動きベクトル探索方法および装置を提供する。
An object of the present invention is to solve the above problems and provide a motion vector search method and apparatus for reducing the amount of calculation at the time of search without lowering the accuracy of motion vector detection.

【0005】[0005]

【課題を解決するための手段】本発明の第1の動きベク
トル探索方法は、画像のフレーム信号をk画素×jライ
ン(k,jは1以上の整数)の複数のブロックに分割
し、各ブロックの特徴量を計算し、各ブロック間の特徴
量の差分が、予め定められたしきい値以内のブロックを
ひとつのブロックに統合し、統合されたブロックの大き
さに応じて結合されたブロック内の画素を間引き、画素
を間引きされた前記統合ブロックを用いてブロックマッ
チングを行い、結合されたブロックの動きベクトルを得
る。
A first motion vector search method of the present invention divides a frame signal of an image into a plurality of blocks of k pixels × j lines (k and j are integers of 1 or more), The feature amount of a block is calculated, and the difference between the feature amounts of the blocks is integrated into one block within a predetermined threshold value, and the blocks are combined according to the size of the integrated block. Pixels inside are thinned out, and block matching is performed using the integrated block in which pixels are thinned out to obtain a motion vector of the combined block.

【0006】本発明の第2の動きベクトル探索方法は、
画像のフレーム信号をk画素×jライン(k,jは1以
上の整数)の複数のブロックに分割し、各ブロックの特
徴量を計算し、各ブロック間の特徴量の差分が、予め定
められたしきい値以内のブロックをひとつのブロックに
統合し、統合されたブロックの大きさに応じて統合され
たブロック内の画素を間引き、画素を間引きされた前記
結合ブロックを用いてブロックマッチングを行い、統合
されたブロックの動きベクトルを求め、前記統合された
ブロックをk画素×jラインの複数のブロックにもど
し、先に求められた前記動きベクトルを初期変移とし、
該動きベクトル周辺の微小な領域でブロックマッチング
を行い、k画素×jラインの複数のブロックに対応して
動きベクトルを得る。
The second motion vector search method of the present invention is
The frame signal of the image is divided into a plurality of blocks of k pixels × j lines (k and j are integers of 1 or more), the feature amount of each block is calculated, and the difference between the feature amounts of the blocks is predetermined. The blocks within the threshold are integrated into one block, pixels in the integrated block are thinned according to the size of the integrated block, and block matching is performed using the combined block in which the pixels are thinned. , Obtaining a motion vector of the integrated block, returning the integrated block to a plurality of blocks of k pixels × j lines, and setting the previously obtained motion vector as an initial transition,
Block matching is performed in a minute area around the motion vector to obtain a motion vector corresponding to a plurality of blocks of k pixels × j lines.

【0007】本発明の第1の動きベクトル探索装置は、
現在フレームの画像を蓄える第1のフレームメモリと、
参照フレームの画像を蓄える第2のフレームメモリと、
動きベクトルを記憶するベクトルメモリと、前記第1の
フレームメモリに蓄えられている現在フレームの画像を
読み出し、読み出した画像をk画素×jライン(k,j
は1以上の整数)の矩形のブロックに分割した後、各ブ
ロックの特徴量を算出し、各ブロック間の特徴量の差分
が、予め定められたしきい値以内のブロックを1つのブ
ロックに統合し、統合された現在フレームのブロック信
号と、該現在フレームブロック信号の読み出し開始アド
レスと、統合されたブロックを示す統合ブロック情報を
出力する第1の小領域分割部と、前記第2のフレームメ
モリに蓄えられている参照フレームの画像を読み出し、
前記統合ブロック情報によって、前記統合されたブロッ
クの形に合った画像信号を読み出し、読み出した画像信
号を参照フレームブロック信号として、またその読み出
し開始アドレスを出力する第2の小領域分割部と、前記
現在フレームブロック信号と前記統合ブロック情報を入
力し、前記統合ブロック情報からブロック内の画素数を
計数し、該画素数に応じて画素の間引きを行い、画素を
間引したブロック信号を出力する第1の間引き処理部
と、前記参照フレームブロック信号と前記統合ブロック
情報を入力し、前記統合ブロック情報からブロック内の
画素数を計算し、該画素数に応じて画素の間引きを行
い、画素を間引したブロック信号を出力する第2の間引
き処理部と、第1の間引き処理部から出力された各ブロ
ック信号に対して、第2の間引き処理部から出力され
た、探索範囲内の複数のブロック信号の間で画素値の差
分値を演算し、これらを加算して差分値として出力する
マッチング誤差計算部と、最小値メモリを有し、前記マ
ッチング誤差計算部から出力された前記差分値が前記最
小値メモリに蓄えられている値より小さければ前記差分
値で前記最小値メモリの値を更新し、前記参照フレーム
ブロックの読み出し開始アドレスと前記現在フレームブ
ロックの読み出し開始アドレスの差を求め、得られたア
ドレスを前記ベクトルメモリの前記統合ブロック情報が
示すブロックに応じたアドレスに書込む比較器を有す
る。
The first motion vector search device of the present invention is
A first frame memory for storing the image of the current frame,
A second frame memory for storing the image of the reference frame,
A vector memory for storing a motion vector and an image of the current frame stored in the first frame memory are read out, and the read out image is k pixels × j lines (k, j
Is a whole number of 1 or more), the feature amount of each block is calculated, and the difference between the feature amounts of the blocks is integrated into one block when the difference is within a predetermined threshold value. Then, a block signal of the integrated current frame, a read start address of the current frame block signal, and a first small area division unit that outputs integrated block information indicating the integrated block, and the second frame memory. Read out the image of the reference frame stored in
A second small area dividing section which reads out an image signal suitable for the shape of the integrated block based on the integrated block information, outputs the read image signal as a reference frame block signal, and outputs a read start address thereof; A current frame block signal and the integrated block information are input, the number of pixels in a block is counted from the integrated block information, pixels are thinned according to the number of pixels, and a block signal in which pixels are thinned is output. 1, a reference frame block signal and the integrated block information are input, the number of pixels in a block is calculated from the integrated block information, pixels are thinned according to the number of pixels, and pixels are thinned. With respect to each block signal output from the second thinning processing unit that outputs the thinned block signal and the first thinning processing unit, There is a matching error calculation unit that calculates the difference value of pixel values between a plurality of block signals within the search range output from the decimation processing unit, adds these, and outputs the difference value, and a minimum value memory. If the difference value output from the matching error calculation unit is smaller than the value stored in the minimum value memory, the value in the minimum value memory is updated with the difference value, and the read start address of the reference frame block is updated. And a comparator for writing the obtained address to an address corresponding to the block indicated by the integrated block information of the vector memory, by obtaining the difference between the read start address of the current frame block.

【0008】本発明の第1の動きベクトル探索装置は、
現在フレームの画像を蓄える第1のフレームメモリと、
参照フレームの画像を蓄える第2のフレームメモリと、
動きベクトルを記憶するベクトルメモリと、1回目の動
きベクトル探索時に、前記第1のフレームメモリに蓄え
られている現在フレームの画像を読み出し、読み出した
画像をk画素×jライン(k,jは1以上の整数)の矩
形のブロックに分割した後、各ブロックの特徴量を算出
し、各ブロック間の特徴量の差分が、予め定められたし
きい値以内のブロックを1つのブロックに統合し、統合
された現在フレームブロック信号と、該現在フレームの
ブロック信号の読み出し開始アドレスと、統合されたブ
ロックを示す統合ブロック情報を出力する第1の小領域
分割部と、2回目の動きベクトル探索時に、前記第1の
フレームメモリに蓄えられている現在フレームの画像を
読み出し、読み出した画像をk画素×jライン(k,j
は1以上の整数)の矩形のブロックに分割し、現在フレ
ームブロック信号と、該現在フレームブロック信号の読
み出し開始アドレスを出力する第2の小領域分割部と、
1回目の動きベクトル探索時、前記第2のフレームメモ
リに蓄えられている参照フレームの画像を読み出し、前
記統合ブロック情報によって、前記統合されたブロック
の形に合った画像信号を読み出し、読み出した画像信号
を参照フレームブロック信号として、またその読み出し
開始アドレスを出力し、2回目の動きベクトル探索時、
1回目の動きベクトル探索時と同様に前記第2のフレー
ムメモリに蓄えられている参照フレームの画像をその読
み出し開始アドレス信号に前記ベクトルメモリに記憶さ
れているアドレスを加算して読出し、読み出した画像信
号を参照フレームブロック信号として、またその読み出
し開始アドレスを出力する第3の小領域分割部と、1回
目の動きベクトル探索時に出力された前記現在フレーム
ブロック信号と前記統合ブロック情報を入力し、前記統
合ブロック情報からブロック内の画素数を計数し、該画
素数に応じて画素の間引きを行い、画素を間引きしたブ
ロック信号を出力する第1の間引き処理部と、1回目お
よび2回目の動きベクトル探索時に、前記参照フレーム
ブロック信号と前記統合ブロック情報を入力し、前記統
合ブロック情報からブロック内の画素数を計算し、該画
素数に応じて画素の間引きを行い、画素を間引きしたブ
ロック信号を出力する第2の間引き処理部と、1回目の
動きベクトル探索時に、第1の間引き処理部から出力さ
れた各ブロック信号に対して、第2の間引き処理部から
出力された、探索範囲内の複数のブロック信号の間で画
素値の差分値を演算し、これらを加算して第1の差分値
として出力し、また2回目の動きベクトル探索時、第2
の小領域分割部から出力された現在フレームブロック信
号に対して第3の間引き処理部から出力された、探索範
囲内の複数のブロック信号の間で、画素値の差分値を演
算し、これらを加算して第2の差分値として出力するマ
ッチング誤差計算部と、最小値メモリを有し、前記第1
の差分値が前記最小値メモリに蓄えられている値より小
さければ前記第1の差分値で前記最小値メモリの値を更
新し、前記参照フレームブロックの読み出しアドレス信
号と前記第1の小領域分割部から出力された前記現在フ
レームブロックの読み出し開始アドレス信号の差を求
め、得られたアドレスを前記ベクトルメモリの前記統合
ブロック情報が示すブロックに応じたアドレスに書き込
み、前記第2の差分値で前記最小値メモリの値を更新
し、前記参照フレームブロックの読み出しアドレス信号
と前記第2の小領域分割部から出力された前記現在フレ
ームブロックの読み出し開始アドレス信号の差を求め、
得られたアドレスを前記ベクトルメモリの前記統合ブロ
ック情報が示すブロックに応じたアドレスに書き込む比
較器を有する。
The first motion vector search device of the present invention is
A first frame memory for storing the image of the current frame,
A second frame memory for storing the image of the reference frame,
A vector memory that stores a motion vector and an image of the current frame stored in the first frame memory at the time of the first motion vector search are read, and the read image is k pixels × j lines (k and j are 1 (Integer above) divided into rectangular blocks, the feature amount of each block is calculated, and the difference between the feature amounts of the blocks is integrated into one block within a predetermined threshold value. An integrated current frame block signal, a read start address of the block signal of the current frame, a first small area division unit that outputs integrated block information indicating an integrated block, and a second motion vector search, The image of the current frame stored in the first frame memory is read, and the read image is read by k pixels × j lines (k, j
Is an integer greater than or equal to 1), and is divided into rectangular blocks, and a current frame block signal and a second small area division unit that outputs a read start address of the current frame block signal
At the time of the first motion vector search, the image of the reference frame stored in the second frame memory is read, the image signal that matches the shape of the integrated block is read by the integrated block information, and the read image The signal is used as a reference frame block signal, the read start address is output, and when the second motion vector search is performed,
Similar to the first motion vector search, the image of the reference frame stored in the second frame memory is read by adding the read start address signal to the address stored in the vector memory, and the read image is read. The signal is used as a reference frame block signal, the third small area division unit that outputs the read start address, the current frame block signal that is output during the first motion vector search, and the integrated block information are input, and A first thinning processing unit that counts the number of pixels in the block from the integrated block information, thins the pixels according to the number of pixels, and outputs a block signal in which the pixels are thinned, and the first and second motion vectors. At the time of searching, the reference frame block signal and the integrated block information are input, and whether the integrated block information is A second thinning processing unit that calculates the number of pixels in the block, thins pixels according to the number of pixels, and outputs a block signal in which the pixels are thinned, and a first thinning process during the first motion vector search. For each block signal output from the processing unit, a difference value of pixel values between a plurality of block signals within the search range output from the second thinning processing unit is calculated, and these are added to obtain the first value. It is output as a difference value of 1, and when the second motion vector search is performed,
For the current frame block signal output from the small area dividing unit of, the difference value of pixel values is calculated between the plurality of block signals within the search range output from the third thinning processing unit, and these are calculated. A matching error calculation unit for adding and outputting as a second difference value, and a minimum value memory,
Is smaller than the value stored in the minimum value memory, the value in the minimum value memory is updated with the first difference value, and the read address signal of the reference frame block and the first small area division are updated. The difference between the read start address signals of the current frame block output from the unit is calculated, the obtained address is written to the address corresponding to the block indicated by the integrated block information of the vector memory, and the second difference value The value of the minimum value memory is updated to obtain the difference between the read address signal of the reference frame block and the read start address signal of the current frame block output from the second small area division unit,
It has a comparator which writes the obtained address in the address according to the block which the said integrated block information of the said vector memory shows.

【0009】[0009]

【作用】請求項1,3の発明では、探索の際に複数個の
ブロックを適応的に、つまり分散値や平均値が似通って
いるブロックを統合して統合ブロックを構成し、統合ブ
ロックのサイズに応じて画素の間引きを行なった後、ブ
ロックマッチングを行なうことを特徴とする。
According to the first and third aspects of the present invention, a plurality of blocks are adaptively integrated during search, that is, blocks having similar variances and averages are integrated to form an integrated block. It is characterized in that block matching is performed after thinning out pixels in accordance with.

【0010】マッチングを行なう際に画素の間引きを行
なえば、演算量を減らすことができるが、サンプル点数
が減少するため検出精度の低下を招く場合がある。そこ
で、同じ動きを含むブロックであるならば一つのブロッ
クとしてまとめて動きベクトル検出を行なえば、トータ
ルのサンプル点数が多くなるため画素の間引きを行なっ
ても検出精度の低下は抑えられる。
If pixels are thinned out when performing matching, the amount of calculation can be reduced, but the number of sample points decreases, which may lead to a decrease in detection accuracy. Therefore, if blocks that include the same motion are collectively detected as one block, the total number of sample points is increased, so that even if pixels are thinned out, deterioration of detection accuracy can be suppressed.

【0011】請求項1の動きベクトル探索方法を図1〜
図3により説明する。画素のフレーム信号が例えば図1
に示すようにブロックにA〜Pに分割されたものとす
る。まず、ブロックA〜Pそれぞれの特徴量を算出す
る。なお、この例ではA〜Pのブロックは正方領域内の
隣接するブロックとなっているが、任意に選ぶことも可
能である。特徴量としては輝度値の分散、平均など任意
の値を用いることができる。次に、閾値Thを設定し、
あるブロックの特徴量と、別のあるブロックの特徴量と
の差分がTh以内であるブロックを同じ物体に属すると
判定し、一つのブロックとしてマッチングを行なう。ブ
ロックAおよびBの特徴量をそれぞれFA ,FB とする
と、式(1)を満たす時ブロックAとBを一つのブロッ
クとしてマッチングを行なう。
The motion vector search method of claim 1 is shown in FIGS.
This will be described with reference to FIG. The pixel frame signal is, for example, as shown in FIG.
It is assumed that the blocks are divided into A to P as shown in FIG. First, the feature amount of each of the blocks A to P is calculated. Although the blocks A to P are adjacent blocks in the square area in this example, they can be arbitrarily selected. As the feature amount, any value such as variance or average of brightness values can be used. Next, set the threshold Th,
A block whose difference between the feature amount of a certain block and the feature amount of another certain block is within Th is determined to belong to the same object, and matching is performed as one block. If the feature amounts of the blocks A and B are F A and F B , respectively, when the formula (1) is satisfied, the blocks A and B are regarded as one block for matching.

【0012】 |FA −FB |<Th (1) 全てのブロックA〜Pの組み合わせに対してこの判定を
行ない、同じ物体に含まれると判定されたブロックは一
つのブロックとして統合しマッチングを行なう。これら
の統合処理により、例えば、図2のようにブロックA〜
Pが3つのブロックに統合された場合、ブロックA+E
+Fでマッチングを行ない、検出された動きベクトルを
それぞれブロックA,E,Fの動きベクトルに、ブロッ
クB+C+D+G+H+K+L+O+Pで検出された動
きベクトルをブロックB,C,D,G,H,K,L,
O,Pの動きベクトルに、そしてブロックI+J+M+
Nで検出された動きベクトルをブロックI,J,M,N
の動きベクトルとする。
| F A −F B | <Th (1) This determination is performed for all combinations of blocks A to P, and blocks determined to be included in the same object are integrated as one block and matched. To do. By these integration processes, for example, as shown in FIG.
If P is integrated into three blocks, block A + E
+ F is used for matching, and the detected motion vector is the motion vector of blocks A, E, F, and the motion vector detected by block B + C + D + G + H + K + L + O + P is block B, C, D, G, H, K, L,
For motion vectors of O and P, and block I + J + M +
The motion vector detected in N is used as a block I, J, M, N
Is the motion vector of.

【0013】統合されたブロックのマッチングは、統合
ブロックの画素数に応じて画素を間引いた後に行なう。
間引く手法としては、図2の場合、A+E+Fは3ブロ
ックの結合であるから、例えば3画素につき2画素の割
合で画素を間引けば、マッチング時のサンプル点数は1
ブロックの時と同じになる。同様にB+C+D+G+H
+K+L+O+Pでは9画素につき8画素、I+J+M
+Nでは4画素につき3画素の割合で間引く手法等が考
えられる。図3に3ブロックを結合した場合の例を示
す。白丸が間引かれた画素である。
The matching of the integrated blocks is performed after thinning out pixels according to the number of pixels in the integrated block.
As a method of thinning out, in the case of FIG. 2, A + E + F is a combination of 3 blocks, so if the pixels are thinned out at a rate of 2 pixels for every 3 pixels, the number of sample points at the time of matching is 1.
It will be the same as when blocking. Similarly B + C + D + G + H
+ K + L + O + P: 8 pixels out of 9 pixels, I + J + M
For + N, a method of thinning out at a rate of 3 out of 4 pixels can be considered. FIG. 3 shows an example in which three blocks are combined. White circles are thinned pixels.

【0014】しかし、請求項1の動きベクトル探索方法
は、物体がズームや回転のように2次元平面上で変形す
るような動きを含んでいる場合、同じ物体であっても位
置によって異なる動きを示すことがある。この場合、統
合ブロックでの動きベクトル検出は誤検出を起こす可能
性が高い。
However, according to the motion vector search method of the first aspect, when an object includes a motion such as a zoom or a rotation that deforms on a two-dimensional plane, even the same object has different motions depending on the position. May be shown. In this case, the motion vector detection in the integrated block is likely to cause an erroneous detection.

【0015】そこで、請求項2,4の発明では、ブロッ
クマッチング型動きベクトル探索において、ブロック内
画素を間引くことによる検出精度の低下を抑えるため
に、同じ動きを含むブロックを統合し、統合ブロックの
サイズに応じてブロック内画素の間引きを行い、統合ブ
ロックでマッチングを行なった後、統合ブロックを再び
各ブロックに分割して統合ブロックで求まった動きベク
トルを各ブロックの初期変移として再び微小な領域での
探索を行なう。この方法により少ない演算量で検出精度
を落さずに動きベクトルが検出される。
Therefore, in the second and fourth aspects of the invention, in the block matching type motion vector search, in order to suppress the deterioration of the detection accuracy due to thinning out the pixels in the block, blocks including the same motion are integrated, Pixels in the block are thinned according to the size, and after matching is performed in the integrated block, the integrated block is divided into each block again, and the motion vector obtained by the integrated block is used as the initial transition of each block in a small area again. Search for. With this method, the motion vector can be detected with a small amount of calculation without degrading the detection accuracy.

【0016】請求項2の動きベクトル探索方法を図1〜
図3により説明する。ブロックA〜Pのそれぞれの特徴
量を算出し、ブロックの統合を行ない、統合されたブロ
ックA+E+F,B+C+D+G+H+K+L+O+
P,I+J+M+N内の画素を間引き、マッチングを行
ない、統合されたブロックの動きベクトルを求めるまで
は、請求項1の動きベクトル探索方法と同じである。請
求項2の動きベクトル探索方法では、この後、検出され
た動きベクトルをブロックA,E,Fそれぞれの初期変
移とする。同様に、B+C+D+G+H+K+L+O+
Pで検出された動きベクトルをブロックB,C,D,
G,H,K,L,O,Pの初期変移に、I+J+M+N
で検出された動きベクトルをブロックI,J,M,Nの
初期変移とする。最後に、各ブロックA〜Pで初期変移
を中心とする微小な領域(例えば±1の画素範囲)での
探索を行なうことで最終的な動きベクトルを求める。
A motion vector search method according to claim 2 is shown in FIGS.
This will be described with reference to FIG. The feature amount of each of the blocks A to P is calculated, the blocks are integrated, and the integrated blocks A + E + F, B + C + D + G + H + K + L + O +.
Pixels in P, I + J + M + N are thinned out, the matching is performed, and the motion vector of the integrated block is obtained, which is the same as the motion vector search method of claim 1. In the motion vector search method according to the second aspect of the present invention, the detected motion vector is then used as the initial transition of each of the blocks A, E, and F. Similarly, B + C + D + G + H + K + L + O +
The motion vector detected in P is converted into blocks B, C, D,
At the initial transition of G, H, K, L, O, P, I + J + M + N
The motion vector detected in step S1 is used as the initial transition of blocks I, J, M, and N. Finally, in each of the blocks A to P, a final motion vector is obtained by performing a search in a minute area (for example, ± 1 pixel range) centering on the initial transition.

【0017】[0017]

【実施例】次に、本発明の実施例について図面を参照し
て説明する。
Embodiments of the present invention will now be described with reference to the drawings.

【0018】図4は本発明の第1の実施例の動きベクト
ル探索装置のブロック図、図5は図3における小分割器
部9のブロック図、図6は図3における小分割器部10
のブロック図である。
FIG. 4 is a block diagram of the motion vector search device according to the first embodiment of the present invention, FIG. 5 is a block diagram of the small divider unit 9 in FIG. 3, and FIG. 6 is a small divider unit 10 in FIG.
It is a block diagram of.

【0019】本実施例の動きベクトルは探索装置はフレ
ームメモリ3,4と小領域分割部9,10と間引き処理
部21,22とマッチング誤差計算部27と比較器29
とベクトルメモリ32で構成されている。
The motion vector search apparatus of the present embodiment includes frame memories 3 and 4, small area division units 9 and 10, thinning processing units 21 and 22, a matching error calculation unit 27, and a comparator 29.
And a vector memory 32.

【0020】初めに、動きベクトルの探索範囲41が小
領域分割部10に入力される。なお、探索範囲41は任
意の値を用いることができる。
First, the motion vector search range 41 is input to the small area dividing unit 10. Any value can be used as the search range 41.

【0021】現在フレームの画像1はフレームメモリ2
に蓄えられる。フレームメモリ2に蓄えられた現在フレ
ームの画像6が(x,y)の2座標からなるアドレス信
号5の値をアドレス値として読み出され、小領域分割部
9に入力される。小領域分割部9は現在フレームの画像
6から、(k×m)×(j×n)(j,k,m,nは1
以上の整数)のブロックデータを読み出し(図2の例で
はm=n=4)、読み出したデータをさらにk画素×j
ラインからなる矩形の複数のブロックに分解したあと、
各ブロックの特徴量を算出し、式(1)に示した比較を
行なうことでブロックの統合を行ない、統合された現在
フレームのブロック信号14、出力したブロック信号1
4の読み出し開始アドレス(ブロックの最も左上の画素
に対応するアドレス)16および統合ブロックを示す統
合ブロック情報15を出力する。小領域分割部9は、図
5に示すように、ブロックメモリ33と特徴量計算部3
6とブロック統合判定部40で構成される。まず、読み
出そうとするブロック信号の左上に相当する位置の画像
信号を、記憶されている読み出し開始アドレスをアドレ
ス信号5としてフレームメモリ3に与えることにより読
み出す。以下、読み出そうとするブロック内全ての座標
を走査するようにアドレス信号5の値を変化させなが
ら、(k×m)×(j×n)回の読み出しを行ない、ブ
ロックメモリ33に蓄積する。次に、特徴量計算部36
がブロックメモリ33からの読み出しと同様の操作によ
り、ブロックメモリ33に蓄えられている(k×m)×
(j×n)のブロック信号を(x,y)の2座標からな
るアドレス信号34の値によりk×jのブロックに分割
して読み出した後、読み出されたブロックそれぞれで特
徴量を計算し、メモリ37に蓄える。ブロック統合判定
部40では、アドレス信号39により特徴量38を読み
出し、式(1)によりどのブロックを統合するか決定
し、統合ブロックを示す統合ブロック情報15を出力す
る。ブロックメモリ33はフラグ15により、統合され
たブロック信号14および出力したブロック信号14の
読み出し開始アドレス16を出力する。
The image 1 of the current frame is the frame memory 2
Is stored in The image 6 of the current frame stored in the frame memory 2 is read with the value of the address signal 5 consisting of two coordinates (x, y) as an address value and input to the small area dividing unit 9. From the image 6 of the current frame, the small area dividing unit 9 calculates (k × m) × (j × n) (j, k, m, n is 1).
Block data of the above integer) is read (m = n = 4 in the example of FIG. 2), and the read data is further divided into k pixels × j.
After breaking it down into multiple rectangular blocks of lines,
The blocks are integrated by calculating the feature amount of each block and performing the comparison shown in Expression (1). The block signal 14 of the integrated current frame and the output block signal 1
The read start address 4 (address corresponding to the upper leftmost pixel of the block) 16 and integrated block information 15 indicating the integrated block are output. As shown in FIG. 5, the small area dividing unit 9 includes a block memory 33 and a feature amount calculating unit 3.
6 and the block integration determination unit 40. First, the image signal at the position corresponding to the upper left of the block signal to be read is read by giving the stored read start address to the frame memory 3 as the address signal 5. Thereafter, while changing the value of the address signal 5 so as to scan all the coordinates in the block to be read, the reading is performed (k × m) × (j × n) times and stored in the block memory 33. . Next, the feature amount calculation unit 36
Is stored in the block memory 33 by the same operation as reading from the block memory 33 (k × m) ×
The block signal of (j × n) is divided into k × j blocks by the value of the address signal 34 consisting of two coordinates of (x, y) and read out, and the feature amount is calculated for each read block. , Memory 37. The block integration determination unit 40 reads the feature amount 38 by the address signal 39, determines which block is integrated by the equation (1), and outputs integrated block information 15 indicating the integrated block. The block memory 33 outputs the integrated block signal 14 and the read start address 16 of the output block signal 14 according to the flag 15.

【0022】次に、フレームメモリ4に蓄えられた参照
フレームの画像2が(x,y)の2成分からなるアドレ
ス信号7の値をアドレス値として読み出され、小領域分
割部10に入力される。小領域分割部10は、図6に示
すように、ブロック信号読み出し制御部42とカウンタ
45から構成される。ブロック信号読み出し制御部42
は読み出そうとするブロック信号の左上に相当する位置
のアドレス信号7をフレームメモリ4に与えることでそ
の位置を画像信号8を読み出すと同時に、カウントアッ
プ信号43によりカウンタ44の値をインクリメントす
る。また、同時に、左上に相当する位置のアドレス信号
18は比較器29に出力される。以下、カウンタ45の
値44がk×jになるまで、読み出そうとするブロック
内全ての座標を走査するようアドレス信号7の値を変化
させながら、読み出しを行なうと同時に読み出したブロ
ック信号17を間引き処理部22へ出力する。
Next, the image 2 of the reference frame stored in the frame memory 4 is read out by using the value of the address signal 7 consisting of two components (x, y) as an address value and input to the small area dividing unit 10. It As shown in FIG. 6, the small area dividing unit 10 includes a block signal read control unit 42 and a counter 45. Block signal read control unit 42
The address signal 7 at the position corresponding to the upper left of the block signal to be read is given to the frame memory 4 to read the image signal 8 at that position, and at the same time, the value of the counter 44 is incremented by the count-up signal 43. At the same time, the address signal 18 at the upper left position is output to the comparator 29. Thereafter, while reading the block signal 17 while changing the value of the address signal 7 so as to scan all the coordinates in the block to be read until the value 44 of the counter 45 becomes k × j. The data is output to the thinning processing unit 22.

【0023】小領域分割部10は統合ブロック情報15
によって、統合されたブロックの形にあった画像信号を
読み出し、読み出した信号を参照フレームブロック信号
17として、同時に、その時の読み出し開始アドレス
(x,y)を参照フレームブロック読み出し開始アドレ
ス信号18として出力する。
The small area dividing unit 10 uses the integrated block information 15
The image signal in the form of an integrated block is read out by the, and the read signal is output as the reference frame block signal 17, and at the same time, the read start address (x, y) at that time is output as the reference frame block read start address signal 18. To do.

【0024】現在フレームブロック信号14および参照
フレームブロック信号17はそれぞれ間引き処理部2
1,22に入力される。間引き処理部21,22ではそ
れぞれ、統合ブロック情報15からブロック内の画素数
を計算し、その画素数に応じて画素の間引きを行ない、
画素数を削減したブロック信号23,24をマッチング
誤差計算部27に出力する。
The current frame block signal 14 and the reference frame block signal 17 are respectively thinned out by the thinning processing unit 2.
1, 22 are input. Each of the thinning processing units 21 and 22 calculates the number of pixels in the block from the integrated block information 15 and thins pixels according to the number of pixels,
The block signals 23 and 24 with the reduced number of pixels are output to the matching error calculation unit 27.

【0025】マッチング誤差計算部27は演算器から構
成され、2つの間引き処理部21,22から出力された
ブロック信号23,24の画素値の差分自乗値を計算
し、それらを加算したものを差分値28として比較器2
9へ出力する。また、マッチング誤差計算部27では、
1つの現在フレームブロック信号23に対応して、探索
範囲内の複数の参照フレームブロック信号24と前記計
算を行なう。なお、差分値演算は差分自乗に限定される
ことはなく、差分絶対値等を用いることも可能である。
The matching error calculation unit 27 is composed of an arithmetic unit, calculates the difference square value of the pixel values of the block signals 23 and 24 output from the two decimation processing units 21 and 22, and adds them to obtain the difference. Comparator 2 with value 28
Output to 9. Further, in the matching error calculation unit 27,
The above calculation is performed with a plurality of reference frame block signals 24 within the search range corresponding to one current frame block signal 23. The difference value calculation is not limited to the difference squared, and the difference absolute value or the like can be used.

【0026】比較器29は、最小値メモリ30を擁して
おり、入力された差分値28が最小値メモリ30に蓄え
られている値より小さければ最小値メモリ23の値を更
新し、それぞれ2成分(x,y)からなる参照フレーム
ブロック読み出し開始アドレス信号18から現在フレー
ムブロック読み出し開始アドレス信号16を減じた値ま
たは現在フレームブロック読み出し開始アドレス信号1
6から参照フレームブロック読み出し開始アドレス信号
18を減じた値であるアドレス31をベクトルメモリ3
2に記憶する。
The comparator 29 has a minimum value memory 30, and when the input difference value 28 is smaller than the value stored in the minimum value memory 30, the value in the minimum value memory 23 is updated, and each of the two components is updated. A value obtained by subtracting the current frame block read start address signal 16 from the reference frame block read start address signal 18 composed of (x, y) or the current frame block read start address signal 1
The address 31 which is a value obtained by subtracting the reference frame block read start address signal 18 from 6 is used as the vector memory 3
Store in 2.

【0027】ベクトルメモリ32は比較器29の出力で
あるアドレス(動きベクトル)31を統合ブロック情報
15に応じてメモリ内の適当なアドレスへ書込む。例え
ば図2に示すような統合状態だった場合、A+E+Fの
ブロックで算出された動きベクトルは、各ブロックA,
E,Fに対応する3つのアドレスに書込まれる。
The vector memory 32 writes the address (motion vector) 31 output from the comparator 29 to an appropriate address in the memory according to the integrated block information 15. For example, in the integrated state as shown in FIG. 2, the motion vector calculated in the block A + E + F is
It is written in three addresses corresponding to E and F.

【0028】上記操作は、参照ブロックが初めに小領域
分割部10に入力された探索範囲全て(例えば探索範囲
が水平垂直共に±2であれば、5×5=25画素の矩形
領域)を走査し終えるまで繰り返される。1回目の操作
時には、ブロックの左上のアドレスに相当するアドレス
信号18の値は探索範囲の最も左上の座標値が用いられ
る。以下、各操作時にアドレス信号18の値を水平、垂
直方向に変化させながら、探索範囲全てに対して上記操
作を繰り返す。
In the above operation, the reference block first scans the entire search range input to the small area dividing unit 10 (for example, if the search range is ± 2 both in horizontal and vertical directions, a rectangular area of 5 × 5 = 25 pixels). It is repeated until it finishes. At the time of the first operation, the value of the address signal 18 corresponding to the upper left address of the block is the coordinate value at the upper left of the search range. Hereinafter, the above operation is repeated for the entire search range while changing the value of the address signal 18 in the horizontal and vertical directions at each operation.

【0029】探索範囲に対する上記操作を終了した時、
ベクトルメモリ32には検出された動きベクトルが蓄え
られている。
When the above operation for the search range is completed,
The detected motion vector is stored in the vector memory 32.

【0030】図7は本発明の第2の実施例の動きベクト
ル検索装置のブロック図である。図1中と同じ機能のも
のには同じ参照番号が付されている。
FIG. 7 is a block diagram of a motion vector search device according to the second embodiment of the present invention. Those having the same functions as those in FIG. 1 are designated by the same reference numerals.

【0031】本実施例の動きベクトル検索装置は、図1
の構成に、小領域分割部13と切換スイッチ25,26
を追加し、ベクトルメモリ32を2つのベクトルメモリ
32aと32bで構成したものである。
The motion vector search apparatus of this embodiment is shown in FIG.
Of the small area dividing unit 13 and the changeover switches 25 and 26.
Is added, and the vector memory 32 is composed of two vector memories 32a and 32b.

【0032】初めに、1回目の探索時および2回目の探
索時における動きベクトルの探索範囲41が小領域分割
部10に入力される。なお、探索範囲41は任意の値を
用いることができる。
First, the motion vector search range 41 at the time of the first search and at the time of the second search is input to the small area dividing unit 10. Any value can be used as the search range 41.

【0033】初めに1回目の探索を行なう。1回目の探
索は第1の実施例の動きベクトル探索装置と同じ動作を
し(切替スイッチ25,26は図上側に倒れ、小領域分
割部13は動作せず)、比較器29の出力であるアドレ
ス(動きベクトル)31が統合ブロック情報15に応じ
てベクトルメモリ32aの適当なアドレスへ書きこまれ
る。例えば図2に示すような統合状態だった場合、A+
E+Fのブロックで算出された動きベクトルは、A,
E,Fに対応する3つのアドレスに書き込まれる。
First, the first search is performed. The first search performs the same operation as that of the motion vector search device of the first embodiment (the changeover switches 25 and 26 are tilted to the upper side of the drawing, the small area division unit 13 is not operated), and is the output of the comparator 29. The address (motion vector) 31 is written to an appropriate address in the vector memory 32a according to the integrated block information 15. For example, in the integrated state as shown in FIG. 2, A +
The motion vector calculated in the E + F block is A,
It is written in three addresses corresponding to E and F.

【0034】参照フレームにおける動きベクトルの探索
範囲で上記の操作を終了した後、ベクトルメモリ32a
には統合されたブロックを用いた時の現在フレームから
参照フレームの動きベクトルが蓄えられている。この値
は2回目の探索における初期値として用いる。
After the above operation is completed within the motion vector search range in the reference frame, the vector memory 32a
The motion vector of the reference frame from the current frame when the integrated block is used is stored in. This value is used as an initial value in the second search.

【0035】次に、2回目の探索を行なう。フレームメ
モリ3に蓄えられた参照フレームの画像12が小領域分
割部13に入力される。小領域分割部13では、現在フ
レームの画像12をk×jのブロックに分割し、参照フ
レームブロック信号19およびブロック読み出し開始ア
ドレス信号20を出力する。同様に、参照フレームの画
像8が再び小領域分割部10に入力されるが、アドレス
信号7およびブロック読み出し開始アドレス信号18は
ベクトルメモリ32aからの(x,y)出力値33を加
えたものとなる。
Next, a second search is performed. The image 12 of the reference frame stored in the frame memory 3 is input to the small area dividing unit 13. The small area dividing unit 13 divides the image 12 of the current frame into k × j blocks and outputs a reference frame block signal 19 and a block read start address signal 20. Similarly, the image 8 of the reference frame is input again to the small area dividing unit 10, but the address signal 7 and the block read start address signal 18 are obtained by adding the (x, y) output value 33 from the vector memory 32a. Become.

【0036】アドレス信号7に従って読み出された参照
フレームブロック信号8は小領域分割部10に入力さ
れ、k画素×jラインのブロックに分割し、参照フレー
ムブロック信号17として出力される。また、同時にブ
ロック読み出し開始アドレス信号18を出力する。そし
て統合ブロックにおける処理の時と同様に、マッチング
誤差計算部27において差分値が計算され、比較器29
において入力された差分値が最小値メモリ30に蓄えら
れている値より小さければ最小値メモリ30の値を更新
し、それぞれ2成分(x,y)からなる参照フレームブ
ロック読み出し開始アドレス信号18から現在フレーム
ブロック読み出し開始アドレス信号20を減じた値また
は現在フレームブロック読み出し開始アドレス信号20
から参照フレームブロック読み出し開始アドレス信号1
8を減じた値であるアドレス(動きベクトル)31をベ
クトルメモリ32bに記憶する。なお、2回目の探索の
際にはマッチング誤差計算部27および比較器29の入
力部における切換スイッチ25,26は下側に倒れてい
る。
The reference frame block signal 8 read out according to the address signal 7 is input to the small area dividing unit 10, divided into blocks of k pixels × j lines, and output as a reference frame block signal 17. At the same time, the block read start address signal 18 is output. Then, as in the case of the processing in the integrated block, the difference value is calculated in the matching error calculation unit 27, and the comparator 29
If the difference value input at is smaller than the value stored in the minimum value memory 30, the value in the minimum value memory 30 is updated, and the reference frame block read start address signal 18 consisting of two components (x, y) A value obtained by subtracting the frame block read start address signal 20 or the current frame block read start address signal 20
To reference frame block read start address signal 1
An address (motion vector) 31 which is a value obtained by subtracting 8 is stored in the vector memory 32b. During the second search, the changeover switches 25 and 26 in the matching error calculation unit 27 and the input unit of the comparator 29 are tilted downward.

【0037】探索範囲に対する上記操作が終了した時、
ベクトルメモリ32bには検出された動きベクトルが蓄
えられている。なお、2回目の探索における探索範囲は
任意に設定できるが、同じ物体に含まれるブロックの動
きベクトルはほぼ等しい値になるため、微小な領域を探
索するだけで十分である。
When the above operation for the search range is completed,
The detected motion vector is stored in the vector memory 32b. Although the search range in the second search can be set arbitrarily, the motion vectors of the blocks included in the same object have almost the same value, so it is sufficient to search for a minute area.

【0038】なお、ベクトルメモリ32aと32bを1
つにして、2回目の探索で得られた動きベクトルを1回
目の探索で得られた動きベクトルに重ね書きしてもよ
い。
The vector memories 32a and 32b are set to 1
In some cases, the motion vector obtained in the second search may be overwritten on the motion vector obtained in the first search.

【0039】[0039]

【発明の効果】以上説明したように、本発明は下記のよ
うな効果がある。 (1)請求項1,3の発明は、探索の際に複数個のブロ
ックを適応的に統合して統合ブロックを構成し、統合ブ
ロックのサイズに応じて画素の間引きを行なった後、ブ
ロックマッチングを行なうことにより、少ない演算量で
検出精度を落さずに動きベクトルが検出される。 (2)請求項2,4の発明は、同じ動きを含むブロック
を統合してサンプル点数を増やした統合ブロックでマッ
チングを行ない、その結果を各ブロックの初期変移とし
て再び微小な領域での探索を行なうことにより、少ない
演算量で検出精度を落さずに動きベクトルが検出され
る。
As described above, the present invention has the following effects. (1) According to the inventions of claims 1 and 3, a plurality of blocks are adaptively integrated at the time of search to form an integrated block, and pixels are thinned according to the size of the integrated block, and then block matching is performed. By performing the above, the motion vector can be detected with a small amount of calculation without degrading the detection accuracy. (2) According to the inventions of claims 2 and 4, matching is performed by an integrated block in which blocks including the same motion are integrated and the number of sample points is increased, and the result is used as an initial transition of each block to search again in a minute area. By doing so, the motion vector can be detected with a small amount of calculation without degrading the detection accuracy.

【図面の簡単な説明】[Brief description of drawings]

【図1】画像のフレーム信号を複数のブロックに分割し
た例を示す図である。
FIG. 1 is a diagram showing an example in which a frame signal of an image is divided into a plurality of blocks.

【図2】図1のブロックA〜Pを統合した例を示す図で
ある。
FIG. 2 is a diagram showing an example in which blocks A to P of FIG. 1 are integrated.

【図3】図2の統合されたブロックA,E,F内の画素
を間引いた例を示す図である。
FIG. 3 is a diagram showing an example in which pixels in integrated blocks A, E, and F of FIG. 2 are thinned out.

【図4】本発明の第1の実施例の動きベクトル探索装置
のブロック図である。
FIG. 4 is a block diagram of a motion vector search device according to the first embodiment of the present invention.

【図5】図4中の小領域分割部9のブロック図である。5 is a block diagram of a small area dividing unit 9 in FIG.

【図6】図4中の小領域分割部10のブロック図であ
る。
6 is a block diagram of a small area dividing unit 10 in FIG.

【図7】本発明の第2の実施例の動きベクトル探索装置
のブロック図である。
FIG. 7 is a block diagram of a motion vector search device according to a second embodiment of the present invention.

【符号の説明】[Explanation of symbols]

1 現在フレームの画像 2 参照フレームの画像 3 フレームメモリ(現在フレーム) 4 フレームメモリ(参照フレーム) 5,11 現在フレームの画像信号の読み出しアドレ
ス信号 6,12 現在フレームの画像 7 参照フレームの画像信号の読み出しアドレス信号 8 参照フレームの画像信号 9,13 小領域分割部(現在フレーム) 10 小領域分割部(参照フレーム) 14,19 現在フレームのブロック信号 15 統合ブロック情報 16,20 現在フレームブロック読み出し開始アド
レス 17 参照フレームのブロック信号 18 参照フレームブロック読み出し開始アドレス 21 間引き処理部(現在フレーム) 22 間引き処理部(参照フレーム) 23 現在フレームのブロック信号 24 参照フレームのブロック信号 25,26 切換スイッチ 27 マッチング誤差計算部 28 差分値 29 比較器 30 最小値メモリ 31 アドレスデータ(動きベクトル) 32 ベクトルメモリ 32a,32b ベクトルメモリ 33 ベクトルメモリ32aの出力 34 ブロック読み出しのアドレス信号 35 ブロック信号 36 特徴量計算部 37 メモリ 38 ブロック特徴量 39 特徴量読み出しのアドレス信号 40 ブロック統合判定部 41 動きベクトルの探索範囲 42 ブロック読み出し信号制御部 43 カウントアップ信号 44 カウンタ45の値 45 カウンタ
1 image of current frame 2 image of reference frame 3 frame memory (current frame) 4 frame memory (reference frame) 5,11 read address signal of image signal of current frame 6,12 image of current frame 7 image of reference frame Read address signal 8 Image signal of reference frame 9,13 Small area dividing section (current frame) 10 Small area dividing section (reference frame) 14,19 Block signal of current frame 15 Integrated block information 16,20 Current frame block read start address 17 reference frame block signal 18 reference frame block read start address 21 thinning processing unit (current frame) 22 thinning processing unit (reference frame) 23 current frame block signal 24 reference frame block signal 25, 26 switching switch 27 Matching error calculation section 28 Difference value 29 Comparator 30 Minimum value memory 31 Address data (motion vector) 32 Vector memory 32a, 32b Vector memory 33 Output of vector memory 32a 34 Block read address signal 35 Block signal 36 Feature quantity Calculation unit 37 Memory 38 Block feature amount 39 Feature amount read address signal 40 Block integration determination unit 41 Motion vector search range 42 Block read signal control unit 43 Count up signal 44 Counter 45 value 45 Counter

Claims (4)

【特許請求の範囲】[Claims] 【請求項1】 画像のフレーム信号をk画素×jライン
(k,jは1以上の整数)の複数の矩形のブロックに分
割し、各ブロックの特徴量を計算し、各ブロック間の特
徴量の差分が、予め定められたしきい値以内のブロック
をひとつのブロックに統合し、統合されたブロックの大
きさに応じて統合されたブロック内の画素を間引き、画
素を間引きされた前記統合ブロックを用いてブロックマ
ッチングを行い、統合されたブロックの動きベクトルを
得る動きベクトル探索方法。
1. A frame signal of an image is divided into a plurality of rectangular blocks of k pixels × j lines (k and j are integers of 1 or more), a feature amount of each block is calculated, and a feature amount between each block is calculated. Difference is integrated into a block within a predetermined threshold value, pixels in the integrated block are thinned according to the size of the integrated block, and the integrated block in which pixels are thinned out A motion vector search method for obtaining a motion vector of an integrated block by performing block matching using.
【請求項2】 画像のフレーム信号をk画素×jライン
(k,jは1以上の整数)の複数の矩形のブロックに分
割し、各ブロックの特徴量を計算し、各ブロック間の特
徴量の差分が、予め定められたしきい値以内のブロック
をひとつのブロックに統合し、統合されたブロックの大
きさに応じて統合されたブロック内の画素を間引き、画
素を間引きされた前記統合ブロックを用いてブロックマ
ッチングを行い、統合されたブロックの動きベクトルを
求め、前記統合されたブロックをk画素×jラインの複
数のブロックにもどし、先に求められた前記動きベクト
ルを初期変移とし、該動きベクトル周辺の微小な領域で
ブロックマッチングを行い、k画素×jラインの複数の
ブロックに対応して動きベクトルを得る動きベクトル探
索方法。
2. A frame signal of an image is divided into a plurality of rectangular blocks of k pixels × j lines (k and j are integers of 1 or more), a feature amount of each block is calculated, and a feature amount between each block is calculated. Difference is integrated into a block within a predetermined threshold value, pixels in the integrated block are thinned according to the size of the integrated block, and the integrated block in which pixels are thinned out Block matching is performed to obtain a motion vector of the integrated block, the integrated block is returned to a plurality of blocks of k pixels × j lines, and the previously obtained motion vector is set as an initial transition, A motion vector search method in which block matching is performed in a minute area around a motion vector to obtain a motion vector corresponding to a plurality of blocks of k pixels × j lines.
【請求項3】 現在フレームの画像を蓄える第1のフレ
ームメモリと、 参照フレームの画像を蓄える第2のフレームメモリと、 動きベクトルを記憶するベクトルメモリと、 前記第1のフレームメモリに蓄えられている現在フレー
ムの画像を読み出し、読み出した画像をk画素×jライ
ン(k,jは1以上の整数)の矩形のブロックに分割し
た後、各ブロックの特徴量を算出し、各ブロック間の特
徴量の差分が、予め定められたしきい値以内のブロック
を1つのブロックに統合し、統合された現在フレームの
ブロック信号と、該現在フレームブロック信号の読み出
し開始アドレスと、統合されたブロックを示す統合ブロ
ック情報を出力する第1の小領域分割部と、 前記第2のフレームメモリに蓄えられている参照フレー
ムの画像を読み出し、前記統合ブロック情報によって、
前記統合されたブロックの形に合った画像信号を読み出
し、読み出した画像信号を参照フレームブロック信号と
して、またその読み出し開始アドレスを出力する第2の
小領域分割部と、 前記現在フレームブロック信号と前記統合ブロック情報
を入力し、前記統合ブロック情報からブロック内の画素
数を計数し、該画素数に応じて画素の間引きを行い、画
素を間引したブロック信号を出力する第1の間引き処理
部と、 前記参照フレームブロック信号と前記統合ブロック情報
を入力し、前記統合ブロック情報からブロック内の画素
数を計算し、該画素数に応じて画素の間引きを行い、画
素を間引したブロック信号を出力する第2の間引き処理
部と、 第1の間引き処理部から出力された各ブロック信号に対
して、第2の間引き処理部から出力された、探索範囲内
の複数のブロック信号の間で画素値の差分値を演算し、
これらを加算して差分値として出力するマッチング誤差
計算部と、 最小値メモリを有し、前記マッチング誤差計算部から出
力された前記差分値が前記最小値メモリに蓄えられてい
る値より小さければ前記差分値で前記最小値メモリの値
を更新し、前記参照フレームブロックの読み出し開始ア
ドレスと前記現在フレームブロックの読み出し開始アド
レスの差を求め、得られたアドレスを前記ベクトルメモ
リの前記統合ブロック情報が示すブロックに応じたアド
レスに書き込む比較器を有する動きベクトル探索装置。
3. A first frame memory for storing an image of a current frame, a second frame memory for storing an image of a reference frame, a vector memory for storing a motion vector, and a first memory for storing the vector in the first frame memory. The image of the current frame that is present is read, the read image is divided into rectangular blocks of k pixels x j lines (k and j are integers of 1 or more), the feature amount of each block is calculated, and the feature between each block is calculated. The block whose amount difference is within a predetermined threshold is integrated into one block, and the block signal of the integrated current frame, the read start address of the current frame block signal, and the integrated block are shown. A first small area dividing section that outputs integrated block information; and an image of a reference frame stored in the second frame memory, By the integrated block information,
A second small area division unit that reads out an image signal that matches the shape of the integrated block, outputs the read image signal as a reference frame block signal, and outputs the read start address, the current frame block signal, and the second frame region signal A first decimation processing unit for inputting integrated block information, counting the number of pixels in the block from the integrated block information, thinning pixels according to the number of pixels, and outputting a block signal with thinned pixels; The reference frame block signal and the integrated block information are input, the number of pixels in a block is calculated from the integrated block information, the pixels are thinned according to the number of pixels, and the block signal in which the pixels are thinned is output. The second decimation processing unit outputs the block signals output from the second decimation processing unit and the first decimation processing unit. Calculates the difference value of the pixel values between a plurality of blocks signals in the search range,
A matching error calculation unit for adding these and outputting as a difference value, and a minimum value memory, and if the difference value output from the matching error calculation unit is smaller than the value stored in the minimum value memory, The value of the minimum value memory is updated with a difference value, the difference between the read start address of the reference frame block and the read start address of the current frame block is obtained, and the obtained address is indicated by the integrated block information of the vector memory. A motion vector search device having a comparator for writing to an address corresponding to a block.
【請求項4】 現在フレームの画像を蓄える第1のフレ
ームメモリと、 参照フレームの画像を蓄える第2のフレームメモリと、 動きベクトルを記憶するベクトルメモリと、 1回目の動きベクトル探索時に、前記第1のフレームメ
モリに蓄えられている現在フレームの画像を読み出し、
読み出した画像をk画素×jライン(k,jは1以上の
整数)の矩形のブロックに分割した後、各ブロックの特
徴量を算出し、各ブロック間の特徴量の差分が、予め定
められたしきい値以内のブロックを1つのブロックに統
合し、統合された現在フレームのブロック信号と、該現
在フレームブロック信号の読み出し開始アドレスと、統
合されたブロックを示す統合ブロック情報を出力する第
1の小領域分割部と、 2回目の動きベクトル探索時に、前記第1のフレームメ
モリに蓄えられている現在フレームの画像を読み出し、
読み出した画像をk画素×jライン(k,jは1以上の
整数)の矩形のブロックに分割し、現在フレームブロッ
ク信号と、該現在フレームブロック信号の読み出し開始
アドレスを出力する第2の小領域分割部と、 1回目の動きベクトル探索時、前記第2のフレームメモ
リに蓄えられている参照フレームの画像を読み出し、前
記統合ブロック情報によって、前記統合されたブロック
の形に合った画像信号を読み出し、読み出した画像信号
を参照フレームブロック信号として、またその読み出し
開始アドレスを出力し、2回目の動きベクトル探索時、
1回目の動きベクトル探索時と同様に前記第2のフレー
ムメモリに蓄えられている参照フレームの画像をその読
み出し開始アドレス信号に前記ベクトルメモリに記憶さ
れているアドレスを加算して読出し、読み出した画像信
号を参照フレームブロック信号として、またその読み出
し開始アドレスを出力する第3の小領域分割部と、 1回目の動きベクトル探索時に出力された前記現在フレ
ームブロック信号と前記統合ブロック情報を入力し、前
記統合ブロック情報からブロック内の画素数を計数し、
該画素数に応じて画素の間引きを行い、画素を間引きし
たブロック信号を出力する第1の間引き処理部と、 1回目および2回目の動きベクトル探索時に、前記参照
フレームブロック信号と前記統合ブロック情報を入力
し、前記統合ブロック情報からブロック内の画素数を計
算し、該画素数に応じて画素の間引きを行い、画素を間
引きしたブロック信号を出力する第2の間引き処理部
と、 1回目の動きベクトル探索時に、第1の間引き処理部か
ら出力された各ブロック信号に対して、第2の間引き処
理部から出力された、探索範囲内の複数のブロック信号
の間で画素値の差分値を演算し、これらを加算して第1
の差分値として出力し、また2回目の動きベクトル探索
時、第2の小領域分割部から出力された現在フレームブ
ロック信号に対して第2の間引き処理部から出力され
た、探索範囲内の複数のブロック信号の間で、画素値の
差分値を演算し、これらを加算して第2の差分値として
出力するマッチング誤差計算部と、 最小値メモリを有し、前記第1の差分値が前記最小値メ
モリに蓄えられている値より小さければ前記第1の差分
値で前記最小値メモリの値を更新し、前記参照フレーム
ブロックの読み出し開始アドレス信号と前記第1の小領
域分割部から出力された前記現在フレームブロックの読
み出し開始アドレス信号の差を求め、得られたアドレス
を前記ベクトルメモリに記憶し、前記第2の差分値で前
記最小値メモリの値を更新し、前記参照フレームブロッ
クの読み出し開始アドレス信号と前記第2の小領域分割
部から出力された前記現在フレームブロックの読み出し
開始アドレス信号の差を求め、得られたアドレスを前記
ベクトルメモリに記憶する比較器を有する動きベクトル
探索装置。
4. A first frame memory for storing an image of a current frame, a second frame memory for storing an image of a reference frame, a vector memory for storing a motion vector, and a first frame memory for searching a motion vector for the first time. Read the image of the current frame stored in the frame memory of 1,
The read image is divided into rectangular blocks of k pixels × j lines (k and j are integers of 1 or more), the feature amount of each block is calculated, and the difference in feature amount between the blocks is determined in advance. A block within a predetermined threshold value is integrated into one block, and a block signal of the integrated current frame, a read start address of the current frame block signal, and integrated block information indicating the integrated block are output. And a small area dividing unit for reading the image of the current frame stored in the first frame memory during the second motion vector search,
The read image is divided into rectangular blocks of k pixels × j lines (k and j are integers of 1 or more), and a second small area for outputting a current frame block signal and a read start address of the current frame block signal. Dividing unit and at the time of the first motion vector search, the image of the reference frame stored in the second frame memory is read, and the image signal suitable for the shape of the integrated block is read by the integrated block information. , The read image signal is used as a reference frame block signal, the read start address is output, and the second motion vector search is performed.
Similar to the first motion vector search, the image of the reference frame stored in the second frame memory is read by adding the read start address signal to the address stored in the vector memory, and the read image is read. A signal as a reference frame block signal, and a third small area dividing section for outputting a read start address thereof; the current frame block signal and the integrated block information output at the first motion vector search; Count the number of pixels in the block from the integrated block information,
A first decimation processing unit that decimates pixels according to the number of pixels and outputs a block signal in which the pixels are thinned, and the reference frame block signal and the integrated block information during the first and second motion vector searches. A second thinning processing unit that calculates the number of pixels in the block from the integrated block information, thins pixels according to the number of pixels, and outputs a block signal in which the pixels are thinned; At the time of motion vector search, for each block signal output from the first thinning processing unit, a difference value of pixel values between a plurality of block signals in the search range output from the second thinning processing unit is calculated. Calculate and add these together
Of the current frame block signal output from the second small area division unit during the second motion vector search. A matching error calculation unit that calculates a difference value of pixel values between the block signals and outputs the sum as a second difference value; and a minimum value memory, wherein the first difference value is the If it is smaller than the value stored in the minimum value memory, the value of the minimum value memory is updated with the first difference value, and the read start address signal of the reference frame block and the first small area dividing unit are output. Then, the difference between the read start address signals of the current frame block is obtained, the obtained address is stored in the vector memory, the value of the minimum value memory is updated with the second difference value, and the reference is made. A motion including a comparator for obtaining a difference between a read start address signal of a frame block and a read start address signal of the current frame block output from the second small area division unit, and storing the obtained address in the vector memory. Vector search device.
JP2397795A 1995-02-13 1995-02-13 Method for searching motion vector and device therefor Pending JPH08223578A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2397795A JPH08223578A (en) 1995-02-13 1995-02-13 Method for searching motion vector and device therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2397795A JPH08223578A (en) 1995-02-13 1995-02-13 Method for searching motion vector and device therefor

Publications (1)

Publication Number Publication Date
JPH08223578A true JPH08223578A (en) 1996-08-30

Family

ID=12125623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2397795A Pending JPH08223578A (en) 1995-02-13 1995-02-13 Method for searching motion vector and device therefor

Country Status (1)

Country Link
JP (1) JPH08223578A (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998059495A1 (en) * 1997-06-20 1998-12-30 Sony Corporation Device and method for iterative conversion encoding of images, device and method for iterative conversion decoding of images, and providing medium
JP2002518897A (en) * 1998-06-09 2002-06-25 ソニー エレクトロニクス インク Hierarchical motion estimation processing and device using block matching method and integrated projection method
WO2004002148A1 (en) * 2002-06-19 2003-12-31 Sony Corporation Motion vector detection device, detection method, motion compensation device, and motion compensation method
JP2006025431A (en) * 2004-07-06 2006-01-26 Thomson Licensing Method and device for choosing motion vector for coding of set of block
JP2006025430A (en) * 2004-07-06 2006-01-26 Thomson Licensing Method of selecting coding mode, and device thereof
JP2006025429A (en) * 2004-07-06 2006-01-26 Thomson Licensing Coding method and circuit device for executing this method
JP2007194973A (en) * 2006-01-20 2007-08-02 Victor Co Of Japan Ltd Motion vector detector
JP2009267726A (en) * 2008-04-24 2009-11-12 Panasonic Corp Moving image encoding apparatus, recorder, moving image encoding method, moving image encoding program
JP2010016697A (en) * 2008-07-04 2010-01-21 Canon Inc Motion vector searching device and control method thereof
WO2012060168A1 (en) * 2010-11-04 2012-05-10 シャープ株式会社 Encoder apparatus, decoder apparatus, encoding method, decoding method, program, recording medium, and encoded data
JP2012244520A (en) * 2011-05-23 2012-12-10 Fujitsu Semiconductor Ltd Interframe prediction processing apparatus and image processing apparatus
JP2012257148A (en) * 2011-06-10 2012-12-27 Nippon Hoso Kyokai <Nhk> Motion vector detection apparatus, encoder, decoder and program of them
JP2013121044A (en) * 2011-12-07 2013-06-17 Hitachi Kokusai Electric Inc Image encoder and image encoding method
CN110557642A (en) * 2018-06-04 2019-12-10 华为技术有限公司 Video frame coding motion searching method and image encoder

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998059495A1 (en) * 1997-06-20 1998-12-30 Sony Corporation Device and method for iterative conversion encoding of images, device and method for iterative conversion decoding of images, and providing medium
JP2002518897A (en) * 1998-06-09 2002-06-25 ソニー エレクトロニクス インク Hierarchical motion estimation processing and device using block matching method and integrated projection method
WO2004002148A1 (en) * 2002-06-19 2003-12-31 Sony Corporation Motion vector detection device, detection method, motion compensation device, and motion compensation method
US8059722B2 (en) 2004-07-06 2011-11-15 Thomson Licensing Method and device for choosing a mode of coding
JP2006025431A (en) * 2004-07-06 2006-01-26 Thomson Licensing Method and device for choosing motion vector for coding of set of block
JP2006025430A (en) * 2004-07-06 2006-01-26 Thomson Licensing Method of selecting coding mode, and device thereof
JP2006025429A (en) * 2004-07-06 2006-01-26 Thomson Licensing Coding method and circuit device for executing this method
JP4694903B2 (en) * 2004-07-06 2011-06-08 トムソン ライセンシング ENCODING METHOD AND CIRCUIT DEVICE FOR IMPLEMENTING THE METHOD
JP2007194973A (en) * 2006-01-20 2007-08-02 Victor Co Of Japan Ltd Motion vector detector
JP4674549B2 (en) * 2006-01-20 2011-04-20 日本ビクター株式会社 Motion vector detection device
JP2009267726A (en) * 2008-04-24 2009-11-12 Panasonic Corp Moving image encoding apparatus, recorder, moving image encoding method, moving image encoding program
JP2010016697A (en) * 2008-07-04 2010-01-21 Canon Inc Motion vector searching device and control method thereof
WO2012060168A1 (en) * 2010-11-04 2012-05-10 シャープ株式会社 Encoder apparatus, decoder apparatus, encoding method, decoding method, program, recording medium, and encoded data
JP2012244520A (en) * 2011-05-23 2012-12-10 Fujitsu Semiconductor Ltd Interframe prediction processing apparatus and image processing apparatus
JP2012257148A (en) * 2011-06-10 2012-12-27 Nippon Hoso Kyokai <Nhk> Motion vector detection apparatus, encoder, decoder and program of them
JP2013121044A (en) * 2011-12-07 2013-06-17 Hitachi Kokusai Electric Inc Image encoder and image encoding method
CN110557642A (en) * 2018-06-04 2019-12-10 华为技术有限公司 Video frame coding motion searching method and image encoder
CN110557642B (en) * 2018-06-04 2023-05-12 华为技术有限公司 Video frame coding motion searching method and image encoder

Similar Documents

Publication Publication Date Title
EP1734480A1 (en) Image processing device and method, recording medium, and program
JPH08223578A (en) Method for searching motion vector and device therefor
US20040240551A1 (en) Method of generating an interpolation image, an interpolation image generating apparatus, and an image display system using the same
US9548043B2 (en) Pixel value interpolation method and system
JPH0591492A (en) Moving vector detector
JPH08292014A (en) Measuring method of pattern position and device thereof
US8837595B2 (en) Motion estimation method
US5581309A (en) Motion vector detecting circuit
JPH0220988A (en) Moving vector detection system for animation encoding device
JP2006215657A (en) Method, apparatus, program and program storage medium for detecting motion vector
KR970011540B1 (en) Image correction system for a camcorder
KR20010045766A (en) Apparatus For Motion Estimation With Control Section Implemented By State Translation Diagram
JP3615970B2 (en) Moving object detection method
JPH08242454A (en) Method for detecting global motion parameter
JP2001025021A (en) Motion detection method and motion detector
JPH10334244A (en) Stereo matching device
US20190156463A1 (en) Image processing apparatus, image processing method, and program
JPH02131690A (en) Movement compensation circuit
KR0147330B1 (en) Full search method
JPH0795587A (en) Method for detecting moving vector
US11443521B2 (en) Method and device for evaluating images, operational assistance method and operating device
KR100516711B1 (en) Device and method for motion vector detection
JP3103282B2 (en) Block correlation processor
JPH05130588A (en) Motion vector detection device for image
JPH07264598A (en) Compensating method for motion, motion vector detecting circuit and motion compensating circuit