JPH05130588A - Motion vector detection device for image - Google Patents

Motion vector detection device for image

Info

Publication number
JPH05130588A
JPH05130588A JP28685791A JP28685791A JPH05130588A JP H05130588 A JPH05130588 A JP H05130588A JP 28685791 A JP28685791 A JP 28685791A JP 28685791 A JP28685791 A JP 28685791A JP H05130588 A JPH05130588 A JP H05130588A
Authority
JP
Japan
Prior art keywords
motion vector
motion
image signal
block
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP28685791A
Other languages
Japanese (ja)
Inventor
Noboru Yamaguchi
昇 山口
Original Assignee
Toshiba Corp
株式会社東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, 株式会社東芝 filed Critical Toshiba Corp
Priority to JP28685791A priority Critical patent/JPH05130588A/en
Publication of JPH05130588A publication Critical patent/JPH05130588A/en
Pending legal-status Critical Current

Links

Abstract

PURPOSE:To detect motion vectors between fields which are vertically out of phase with high reliability without causing any large increase in throughput due to repetitive arithmetic, etc. CONSTITUTION:This motion vector detection device which employs a block matching method decides the attributes of respective blocks of an input image signal by an attribute decision circuit 11 by using at least the ratio of contour parts. A block size determining circuit 12 determines block size for motion vector detection according to the decision result so that the block size is larger and larger as the ratio of the contour parts is larger and larger. A motion vector detecting circuit 14 detects motion vectors by using the block size.

Description

【発明の詳細な説明】Detailed Description of the Invention
【0001】[0001]
【産業上の利用分野】本発明は、TV信号などの画像信
号に適用される画像の動きベクトル検出装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image motion vector detecting device applied to an image signal such as a TV signal.
【0002】[0002]
【従来の技術】動きベクトル検出装置は、例えば動画像
符号化装置において動き補償予測符号化を行う場合に使
用される。動き補償予測符号化においては、参照画像に
対する入力画像の動きベクトルに基づいて参照画像が局
所的に移動されることにより予測信号が生成され、この
予測信号と入力画像との差分である予測誤差信号が例え
ばDCT(離散コサイン変換)などの直交変換によって
符号化される。参照画像は、入力画像に対して過去また
は未来あるいは両方の画像が用いられる。
2. Description of the Related Art A motion vector detecting device is used, for example, when performing motion compensation predictive coding in a moving picture coding device. In motion compensation predictive coding, a prediction signal is generated by locally moving a reference image based on a motion vector of an input image with respect to a reference image, and a prediction error signal that is a difference between this prediction signal and the input image. Is encoded by an orthogonal transformation such as DCT (discrete cosine transformation). As the reference image, a past image, a future image, or both images are used for the input image.
【0003】動きベクトルの検出は、一般的にブロック
マッチング法により行われる。従来のブロックマッチン
グによる動きベクトルの検出法を図6を用いて説明す
る。
The motion vector is generally detected by the block matching method. A conventional method of detecting a motion vector by block matching will be described with reference to FIG.
【0004】図6において、実線の三角形で表される被
写体は時間的に異なるフレーム(またはフィールド)間
で移動している。なお、破線で表される三角形および矩
形のブロックは、一方のフレーム(またはフィールド)
上の被写体およびブロックを他方のフレーム(またはフ
ィールド)に投影したものである。動きベクトルは、こ
れら実線および破線の三角形で表される被写体間の移動
方向と移動量で定義される。
In FIG. 6, a subject represented by a solid line triangle moves between frames (or fields) that are temporally different. Note that the triangular and rectangular blocks represented by broken lines are in one frame (or field).
The subject and the block above are projected on the other frame (or field). The motion vector is defined by the moving direction and the moving amount between the objects, which are represented by the solid line and broken line triangles.
【0005】ブロックマッチング法による従来の動きベ
クトル検出は、次のような手順で行われる。まず、入力
される画像信号から一定のサイズのブロックを切り出す
と共に、フレーム(フィールド)メモリに蓄えられた前
フレーム(前フィールド)の画像信号から、動きベクト
ル探索範囲内の動きベクトルで指し示される位置より入
力画像信号のブロックと同じサイズのブロックを切り出
して、これら両ブロック間の差分値を求める。そして、
この差分値を定められた評価値、例えば絶対値和あるい
は2乗和によってブロック毎に評価し、その評価値が最
も小さくなるベクトルを最終的な動きベクトルとして選
択する。
The conventional motion vector detection by the block matching method is performed in the following procedure. First, a block of a certain size is cut out from the input image signal, and at the position indicated by the motion vector within the motion vector search range from the image signal of the previous frame (previous field) stored in the frame (field) memory. Then, a block having the same size as the block of the input image signal is cut out, and the difference value between these blocks is obtained. And
This difference value is evaluated for each block by a predetermined evaluation value, for example, the sum of absolute values or the sum of squares, and the vector having the smallest evaluation value is selected as the final motion vector.
【0006】この従来の動きベクトル検出方式では、例
えば画像の比較的平坦な部分を含むブロックにおいて
は、画像信号に含まれる雑音の影響によって、正しい動
きベクトルよりも評価値の小さくなるベクトルが存在す
ることがあるため、動きベクトルが画像内の被写体の動
きを反映しない場合がある。特開平1−176178号
公報には、このような動きベクトルの誤検出を解消でき
る動きベクトル検出方式が開示されている。
In this conventional motion vector detection method, for example, in a block including a relatively flat portion of an image, there is a vector whose evaluation value is smaller than the correct motion vector due to the influence of noise contained in the image signal. Therefore, the motion vector may not reflect the motion of the subject in the image. Japanese Unexamined Patent Publication No. 1-176178 discloses a motion vector detection method capable of eliminating such a false detection of a motion vector.
【0007】この改良された動きベクトル検出方式で
は、まず動きベクトル検出回路で一通り得られた動きベ
クトルについてブロック毎に信頼性の判定を行う。この
判定の結果、信頼性が低いブロックについては、そのブ
ロックと周辺のブロックを統合することによりブロック
サイズを拡大し、この拡大されたブロックに対する動き
ベクトル検出を新たに行う。そして、信頼性の高い動き
ベクトルが得られるまでブロックサイズの拡大と動きベ
クトル検出を繰り返す。すなわち、画像信号に含まれる
雑音には画素間相関がないので、ブロックサイズを拡大
した場合、雑音電力の増加量はブロックサイズには比例
せず、信号成分は大きく増加するため、画像信号に含ま
れる雑音の影響が相対的に小さくなることを利用してい
る。
In this improved motion vector detecting method, first, the reliability of each motion vector obtained by the motion vector detecting circuit is judged for each block. As a result of this determination, for a block with low reliability, the block size is expanded by integrating the block and the peripheral blocks, and motion vector detection is newly performed for this expanded block. Then, the block size expansion and the motion vector detection are repeated until a highly reliable motion vector is obtained. That is, since the noise included in the image signal does not have inter-pixel correlation, when the block size is expanded, the increase amount of noise power is not proportional to the block size, and the signal component greatly increases. It takes advantage of the fact that the effect of noise is relatively small.
【0008】この方式で得られる動きベクトルは、画像
内の被写体の大局的な動きを良く表わし、前述したブロ
ックマッチング法と比較すると、動きベクトルの誤検出
が非常に少なくなる。しかし、この方式では動きベクト
ルの信頼性の判定と、その結果に基づいた動きベクトル
検出とを複数回繰り返して最終的な動きベクトルを求め
ているため、動きベクトル検出のための処理量が大幅に
増加する。また、このようにして求められた動きベクト
ルを用いて動き補償を行うと、ブロックサイズが拡大さ
れた部分で局所的に予測誤差信号電力の割合が増加する
ため、特に平坦部で符号化効率が低下してしまう。な
お、全てのブロックを拡大した場合も、同じ理由により
符号化効率が低下する。
The motion vector obtained by this method well represents the global motion of the subject in the image, and erroneous detection of the motion vector is significantly reduced as compared with the block matching method described above. However, in this method, since the determination of the reliability of the motion vector and the motion vector detection based on the result are repeated a plurality of times to obtain the final motion vector, the processing amount for the motion vector detection is significantly increased. To increase. In addition, when motion compensation is performed using the motion vector obtained in this way, the ratio of the prediction error signal power locally increases in the part where the block size is enlarged, so that the coding efficiency is improved especially in the flat part. Will fall. It should be noted that even when all the blocks are enlarged, the coding efficiency is reduced for the same reason.
【0009】さらに、入力画像が図7(a)に示される
ように実線で示す奇フィールドの走査と破線で示す偶フ
ィールドの走査を交互に行って得られたインタレース画
像の場合、垂直方向に位相がずれた奇偶フィールド間で
動きベクトルを検出すると、特に輪郭部を含むブロック
で、折り返し歪や位相ずれ等の影響によって、被写体の
動きと全く関係のない動きベクトルが検出されてしまう
場合が多い。インタレース画像においては、図7(b)
に示されるように、動きベクトル検出に際して参照する
隣接フィールドに、対応する画素が存在しないためであ
る。なお、図7(b)における○印および×印は、それ
ぞれ図7(a)における実線および破線の走査で得られ
た画素を示している。
Further, in the case where the input image is an interlaced image obtained by alternately performing odd field scanning indicated by a solid line and even field scanning indicated by a broken line as shown in FIG. When a motion vector is detected between odd and even fields that are out of phase, a motion vector that is completely unrelated to the motion of the subject is often detected due to the effects of aliasing distortion and phase shift, especially in blocks that include contours. .. In the interlaced image, FIG.
This is because there is no corresponding pixel in the adjacent field that is referred to when detecting the motion vector, as shown in FIG. The circles and the crosses in FIG. 7B indicate pixels obtained by scanning the solid line and the broken line in FIG. 7A, respectively.
【0010】1/2画素精度といった小数画素精度の動
き補償予測符号化や、ループ内フィルタを組み込んだ動
き補償予測符号化を行う場合、上記のような被写体の動
きと全く関係のない動きベクトルを用いるよりも、精度
は悪くとも被写体の動きを反映した動きベクトルを用い
た方が、図8に示されるように記号×,△,□で表され
る補間値や、ループ内フィルタを通した値に対して動き
補償を行うと、折り返し歪や被写体の変形等の影響がフ
ィルタの効果により低減されるため、符号化効率が改善
されることが多い。なお、○は実際に得られた画素値、
×は水平方向に隣接した2画素AとBあるいはCとDの
平均値、△は垂直方向に隣接した2画素AとCあるいは
BとDの平均値、□はA,B,C,Dの平均値である。
When performing motion-compensated predictive coding with a fractional pixel accuracy such as 1/2 pixel accuracy or motion-compensated predictive coding incorporating an in-loop filter, a motion vector that is completely unrelated to the motion of the subject as described above is used. It is better to use a motion vector that reflects the motion of the subject, even if the accuracy is worse, than to use, the interpolated values represented by symbols ×, △, □ as shown in FIG. On the other hand, when the motion compensation is performed, the effect of the aliasing distortion or the deformation of the subject is reduced by the effect of the filter, so that the coding efficiency is often improved. In addition, ○ is the pixel value actually obtained,
X is the average value of two pixels A and B or C and D adjacent in the horizontal direction, Δ is the average value of two pixels A and C or B and D adjacent in the vertical direction, and □ is the average value of A, B, C and D. It is an average value.
【0011】しかしながら、従来ではこのような小数画
素精度の動き補償予測符号化やループ内フィルタを組み
込んだ動き補償予測符号化を行う場合に、適切な動きベ
クトルを検出する方法がなく、高い符号化効率が得られ
なかった。
However, conventionally, when such motion-compensated predictive coding with decimal pixel precision or motion-compensated predictive coding incorporating an in-loop filter is performed, there is no method for detecting an appropriate motion vector and high coding is performed. The efficiency was not obtained.
【0012】[0012]
【発明が解決しようとする課題】上述したように、ブロ
ックサイズの拡大と動きベクトル検出を繰り返して信頼
性の高い動きベクトルを最終的に得る従来の動きベクト
ル検出方式では、繰り返し演算により動きベクトル検出
のための処理量が大幅に増加し、また動きベクトルを用
いて動き補償を行った場合に予測誤差信号電力の割合が
局所的に増加することにより平坦部で符号化効率が低下
するという問題があった。
As described above, in the conventional motion vector detection method in which the block size expansion and the motion vector detection are repeated to finally obtain a highly reliable motion vector, the motion vector detection is performed by the iterative calculation. There is a problem in that the coding efficiency in the flat part decreases due to a local increase in the ratio of the prediction error signal power when motion compensation is performed using motion vectors. there were.
【0013】さらに、従来の動きベクトル検出方式で
は、小数画素精度の動き補償予測符号化や、ループ内フ
ィルタを組み込んだ動き補償予測符号化を行う場合、特
にインタレース画像に対して適切な動きベクトルを検出
することが困難であり、高い符号化効率が得られないと
いう問題があった。
Further, in the conventional motion vector detection method, when performing motion compensation predictive coding with decimal pixel precision or motion compensated predictive coding incorporating an in-loop filter, especially a motion vector suitable for an interlaced image is used. Is difficult to detect, and there is a problem that high coding efficiency cannot be obtained.
【0014】従って、本発明の第1の目的は、繰り返し
演算等による処理量の大幅な増加を伴うことなく、垂直
方向に位相のずれたフィールド間で信頼性の高い動きベ
クトルの検出を行うことができる動きベクトル検出装置
を提供することにある。
Therefore, a first object of the present invention is to detect a highly reliable motion vector between fields whose phases are shifted in the vertical direction without causing a large increase in the amount of processing due to repetitive calculations. It is to provide a motion vector detecting device capable of performing the above.
【0015】また、本発明の第2の目的は、小数画素精
度の動き補償予測符号化や、ループ内フィルタを組み込
んだ動き補償予測符号化の符号化効率を高くできる動き
ベクトルの検出を可能とした動きベクトル検出装置を提
供することにある。
A second object of the present invention is to enable the detection of a motion vector which can improve the coding efficiency of the motion compensation predictive coding with decimal pixel precision and the motion compensation predictive coding incorporating an in-loop filter. To provide a motion vector detecting device.
【0016】[0016]
【課題を解決するための手段】本発明は第1の目的を達
成するため、入力画像信号の各ブロックの属性を少なく
ともブロック内の輪郭部の割合で判定し、その判定結果
に基づいて動きベクトル検出のためのブロックサイズを
輪郭部の割合が多いほど大きくなるように決定すること
を特徴とする。
In order to achieve the first object of the present invention, the attribute of each block of an input image signal is determined by at least the proportion of the contour portion in the block, and the motion vector is determined based on the determination result. The feature is that the block size for detection is determined so as to increase as the proportion of the contour portion increases.
【0017】また、本発明は第2の目的を達成するた
め、フィールドメモリに蓄えられたフィールド画像信号
に対してフィルタ処理を施した信号と、フィルタ処理を
施さない信号の各々に対する新たな入力フィールド画像
信号の動きベクトル(これらをそれぞれ第1、第2の動
きベクトルという)を検出すると共に、これら第1およ
び第2の動きベクトルを評価して、評価結果の良い方の
動きベクトルを出力することを特徴とする。
Further, in order to achieve the second object of the present invention, a new input field for each of the filtered signal and the unfiltered signal of the field image signal stored in the field memory. Detecting motion vectors of image signals (these are referred to as a first motion vector and a second motion vector, respectively), evaluating the first motion vector and the second motion vector, and outputting a motion vector having a better evaluation result. Is characterized by.
【0018】[0018]
【作用】入力画像信号の各ブロックのうち、特に輪郭部
を多く含むようなブロックは、動きベクトル検出を誤っ
た場合に動き補償予測符号化における符号化効率に悪影
響を及ぼし易い。本発明では、このようなブロックに対
しては、動きベクトル検出の際にブロックサイズが拡大
されることにより、動きベクトル検出の信頼性が向上す
る。
Among the blocks of the input image signal, a block containing a large number of contours tends to adversely affect the coding efficiency in the motion compensation predictive coding when the motion vector detection is erroneous. According to the present invention, for such a block, the block size is enlarged at the time of motion vector detection, so that the reliability of motion vector detection is improved.
【0019】この場合、ブロックサイズの拡大は従来の
ように動きベクトルの信頼性の評価結果に従って逐次的
に行われるのでなく、各ブロックの属性から一意的に決
定されるため、繰り返し演算等による処理量の大幅な増
加が避けられる。
In this case, the expansion of the block size is not carried out sequentially according to the evaluation result of the reliability of the motion vector as in the prior art, but is uniquely determined from the attribute of each block. A large increase in volume is avoided.
【0020】また、本発明では入力フィールド画像の各
ブロックに対して動きベクトルを検出する場合に、記憶
された参照フィールド画像に対する動きベクトルに加え
て、参照フィールド画像の信号にフィルタ処理を施すこ
とにより解像度を落とした信号に対する動きベクトルを
も検出し、両者を比較して評価結果の良い方の動きベク
トルを当該ブロックの動きベクトルとする。
Further, according to the present invention, when the motion vector is detected for each block of the input field image, in addition to the stored motion vector for the reference field image, the signal of the reference field image is filtered. The motion vector for the signal with reduced resolution is also detected, and the two are compared and the motion vector with the better evaluation result is used as the motion vector of the block.
【0021】この結果、フィルタによる位相補償や雑音
の低減により、垂直方向に位相のずれたフィールド間で
動きベクトルを検出する場合に、小数画素精度の動き補
償予測符号化や、ループ内フィルタを組み込んだ動き補
償予測符号化における符号化効率が向上する。すなわ
ち、小数画素精度の動き補償や、ループ内フィルタを組
み込んだ動き補償を行なう場合、誤検出された動きベク
トルを用いるよりも、評価結果が悪くとも正しい動きを
反映した動きベクトルを用いた方が、補間値やループ内
フィルタによるフィルタ処理を施した値に対する予測誤
差信号電力が低下し、符号化効率が上がることが多い。
As a result, when a motion vector is detected between fields whose phases are vertically shifted by the phase compensation and noise reduction by the filter, the motion compensation predictive coding with the decimal pixel precision and the in-loop filter are incorporated. The coding efficiency in the motion compensation predictive coding is improved. That is, when performing motion compensation with decimal pixel precision or motion compensation incorporating an in-loop filter, it is better to use a motion vector that reflects correct motion even if the evaluation result is worse than using a motion vector that is erroneously detected. Often, the prediction error signal power for the interpolated value or the value filtered by the in-loop filter is lowered, and the coding efficiency is often increased.
【0022】[0022]
【実施例】以下、図面を参照して本発明の実施例を説明
する。図1は、本発明の請求項1に係る実施例を示すブ
ロック図である。この実施例の動きベクトル検出装置
は、属性判定回路11、ブロックサイズ決定回路12、
フレームメモリまたはフィールドメモリ(以下、単にメ
モリという)13および動きベクトル検出回路14によ
って構成されている。端子10に入力された画像信号
は、属性判定回路11とメモリ13および動きベクトル
検出回路14に供給される。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing an embodiment according to claim 1 of the present invention. The motion vector detection device of this embodiment includes an attribute determination circuit 11, a block size determination circuit 12,
It is composed of a frame memory or a field memory (hereinafter, simply referred to as a memory) 13 and a motion vector detection circuit 14. The image signal input to the terminal 10 is supplied to the attribute determination circuit 11, the memory 13, and the motion vector detection circuit 14.
【0023】属性判定回路11においては、入力された
画像信号から、一定の大きさに分割されたブロック内の
属性を例えば平坦部と輪郭部の割合等により判定し、そ
の結果をブロックサイズ決定回路12に供給する。
In the attribute determination circuit 11, the attribute in the block divided into a certain size is determined from the input image signal, for example, by the ratio of the flat portion and the contour portion, and the result is determined by the block size determination circuit. Supply to 12.
【0024】図2は、属性判定回路11の具体例であ
り、例えばラプラシアンオペレータ等を用いた輪郭検出
フィルタ21、絶対値回路22、閾値回路23およびカ
ウンタ24を順次配置して構成される。入力される画像
信号は、輪郭検出回路21において例えばラプラシアン
値が求められ、そのラプラシアン値の絶対値が絶対値回
路22で求められた後、閾値回路23に入力される。閾
値回路23では、絶対値がある閾値より大きい画素が輪
郭部と判定される。この輪郭部に相当する画素の数がカ
ウンタ24でブロック毎にカウントされ、その数により
各ブロックが数個のグループに分類される。すなわち、
カウンタ24の出力値が各ブロック毎の輪郭部の割合を
表わす。
FIG. 2 is a specific example of the attribute determination circuit 11, which is constructed by sequentially arranging a contour detection filter 21 using a Laplacian operator or the like, an absolute value circuit 22, a threshold circuit 23 and a counter 24. For example, a Laplacian value of the input image signal is obtained by the contour detection circuit 21, the absolute value of the Laplacian value is obtained by the absolute value circuit 22, and then the image signal is input to the threshold circuit 23. In the threshold circuit 23, a pixel whose absolute value is larger than a certain threshold is determined to be a contour portion. The number of pixels corresponding to the contour portion is counted for each block by the counter 24, and each block is classified into several groups according to the number. That is,
The output value of the counter 24 represents the ratio of the contour portion for each block.
【0025】属性判定回路11の他の構成法としては、
例えばブロック内のアクティビティ(各画素値とブロッ
ク内平均値との差の絶対値あるいは2乗和)により輪郭
部の割合を判定するようなものを用いてもよい。なお、
ブロック内の平坦部の割合を求め、これから輪郭部の割
合を換算してもよい。
As another configuration method of the attribute determination circuit 11,
For example, it is possible to use one that determines the ratio of the contour portion based on the activity in the block (the absolute value of the difference between each pixel value and the average value in the block or the sum of squares). In addition,
It is also possible to find the proportion of the flat portion in the block and convert the proportion of the contour portion from this.
【0026】ブロックサイズ決定回路12においては、
属性判定回路11において判定された属性情報に従っ
て、動きベクトル検出回路14で動きベクトル検出する
際のブロックサイズの拡大率、例えば図3に示すように
ブロックを上下左右に何画素拡大するかを決定する。具
体的には、輪郭部を多く含むブロックほど、ブロックサ
イズを大きくする。
In the block size decision circuit 12,
According to the attribute information determined by the attribute determination circuit 11, the enlargement ratio of the block size when the motion vector detection circuit 14 detects the motion vector, for example, how many pixels the block is enlarged vertically and horizontally as shown in FIG. .. Specifically, the block size is increased as the number of contoured blocks increases.
【0027】図3において、実線で示すブロックは動き
補償予測が行われるブロック(当該ブロックという)で
あり、破線で示すブロックはブロックサイズが拡大され
た状態で動きベクトルを検出するブロックである。ここ
で、検出される動きベクトルは全て図3の当該ブロック
に対する動きベクトルである。
In FIG. 3, a block indicated by a solid line is a block for which motion compensation prediction is performed (referred to as a relevant block), and a block indicated by a broken line is a block for detecting a motion vector in a state where the block size is enlarged. Here, all detected motion vectors are motion vectors for the block in FIG.
【0028】こうしてブロックサイズ決定回路12で決
定されたブロックサイズの情報は、動きベクトル検出回
路14に制御情報として供給される。一方、メモリ13
に蓄えられた画像信号は、動きベクトル検出回路14に
参照画像信号として入力される。動きベクトル検出回路
14においては、ブロックサイズ決定回路12からのブ
ロックサイズ情報に従って、端子10に入力される入力
画像信号およびメモリ13に蓄えられた画像信号をそれ
ぞれブロック化し、ブロックマッチング法によって動き
ベクトルを検出する。こうして検出された動きベクトル
の情報は、端子15を介して出力される。
The block size information determined by the block size determining circuit 12 in this way is supplied to the motion vector detecting circuit 14 as control information. On the other hand, the memory 13
The image signal stored in is input to the motion vector detection circuit 14 as a reference image signal. In the motion vector detection circuit 14, the input image signal input to the terminal 10 and the image signal stored in the memory 13 are divided into blocks according to the block size information from the block size determination circuit 12, and the motion vector is calculated by the block matching method. To detect. The information on the motion vector thus detected is output via the terminal 15.
【0029】なお、図4において、Pは参照画像に過去
のフレーム(フィールド)を用いて動き補償予測符号化
を行うフレーム(フィールド)、Bは参照画像に過去だ
けでなく未来のフレーム(フィールド)をも用いて動き
補償予測符号化を行うフレーム(フィールド)、そして
Iはフレーム(フィールド)内で符号化するフレーム
(フィールド)であり、以下これらをPピクチャ、Bピ
クチャおよびIピクチャという。また、図4(b)にお
ける偶フィールドおよび奇フィールドは、それぞれ図7
(a)における実線および破線のフィールドに対応して
いる。
In FIG. 4, P is a frame (field) in which motion compensation predictive coding is performed using a past frame (field) in the reference image, and B is a future frame (field) in the reference image as well as the past. Is a frame (field) for which motion compensation predictive coding is also performed, and I is a frame (field) that is coded within the frame (field). These are hereinafter referred to as P picture, B picture, and I picture. Further, the even field and the odd field in FIG.
It corresponds to the solid and dashed fields in (a).
【0030】ここで、図4(a)に示すように両方向か
らの動きベクトルを検出する場合には、メモリ13を複
数フレームまたは複数フィールド分用意すればよい。ま
た、メモリ13に蓄えられる画像信号は、動き補償予測
符号化において用いる局部復号信号、すなわち符号化さ
れた信号を復号した信号でもよい。
Here, when detecting motion vectors from both directions as shown in FIG. 4A, the memory 13 may be prepared for a plurality of frames or a plurality of fields. The image signal stored in the memory 13 may be a locally decoded signal used in motion compensation predictive coding, that is, a signal obtained by decoding the coded signal.
【0031】次に、図5を用いて請求項2に係る実施例
を説明する。この実施例の動きベクトル検出装置は、フ
ィールドメモリ31、フィルタ32、スイッチ回路3
3、動きベクトル検出回路34および評価回路35によ
り構成される。
Next, an embodiment according to claim 2 will be described with reference to FIG. The motion vector detection device of this embodiment includes a field memory 31, a filter 32, and a switch circuit 3.
3, a motion vector detection circuit 34 and an evaluation circuit 35.
【0032】端子30にフィールド単位で入力される画
像信号(フィールド画像信号)は、フィールドメモリ3
1と動きベクトル検出回路24に供給される。フィール
ドメモリ31には、入力されたフィールド画像信号が蓄
えられる。このフィールドメモリ31に蓄えられたフィ
ールド画像信号は、フィルタ32とスイッチ回路33に
供給される。この場合、図4(b)に示すように複数の
フィールドに対する動きベクトルを検出する際には、フ
ィールドメモリ31を複数フィールド分用意すればよ
い。また、フィールドメモリに蓄えられる画像信号は、
動き補償予測符号化において用いる局部復号信号でも良
い。
The image signal (field image signal) input to the terminal 30 on a field-by-field basis is the field memory 3
1 and the motion vector detection circuit 24. The field memory 31 stores the input field image signal. The field image signal stored in the field memory 31 is supplied to the filter 32 and the switch circuit 33. In this case, when detecting motion vectors for a plurality of fields as shown in FIG. 4B, the field memories 31 may be prepared for a plurality of fields. The image signal stored in the field memory is
It may be a locally decoded signal used in motion compensation predictive coding.
【0033】フィルタ32においては、フィールドメモ
リ31より供給されたフィールド画像信号のライン間の
信号を上下2画素の平均値等により補間し、その補間信
号をスイッチ回路33に供給する。スイッチ回路33
は、評価回路35からの要求に応じて切り替えられ、フ
ィールドメモリ31およびフィルタ32から供給される
フィールド画像信号を順次選択して動きベクトルを検出
回路34に供給する。
In the filter 32, a signal between lines of the field image signal supplied from the field memory 31 is interpolated by an average value of upper and lower two pixels and the interpolated signal is supplied to the switch circuit 33. Switch circuit 33
Are switched in response to a request from the evaluation circuit 35, sequentially select the field image signals supplied from the field memory 31 and the filter 32, and supply the motion vector to the detection circuit 34.
【0034】動きベクトル検出回路34においては、ス
イッチ回路33を介して入力されるフィールド画像信号
を参照画像(参照フィールド画像)信号とし、これらの
参照フィールド画像信号と端子30からの新たな入力フ
ィールド画像信号とのブロックマッチングにより、動き
ベクトルを求める。すなわち、フィルタ32を通したフ
ィールド画像信号に対する新たな入力フィールド画像信
号の動きを示す動きベクトル(第1の動きベクトル)
と、フィルタ32を通さないフィールドメモリ31から
のフィールド画像信号に対する新たな入力フィールド画
像信号の動きを示す動きベクトル(第2の動きベクト
ル)を検出する。
In the motion vector detection circuit 34, the field image signals input via the switch circuit 33 are used as reference image (reference field image) signals, and these reference field image signals and a new input field image from the terminal 30. The motion vector is obtained by block matching with the signal. That is, a motion vector (first motion vector) indicating the motion of a new input field image signal with respect to the field image signal that has passed through the filter 32.
And a motion vector (second motion vector) indicating the motion of a new input field image signal with respect to the field image signal from the field memory 31 that does not pass through the filter 32 is detected.
【0035】評価回路35は、これら第1および第2の
動きベクトルを評価し、評価結果の良い方を当該ブロッ
クの最終的な動きベクトルとするように、動きベクトル
検出回路34から端子36に出力せしめる制御を行う。
評価回路35での動きベクトルの評価法としては、例え
ば当該ブロック内の絶対和や2乗和の小さいベクトルを
出力する方法を用いることができる。
The evaluation circuit 35 evaluates the first and second motion vectors, and outputs from the motion vector detection circuit 34 to the terminal 36 so that the one having the better evaluation result is the final motion vector of the block. Perform a tight control.
As a method of evaluating the motion vector in the evaluation circuit 35, for example, a method of outputting a vector having a small absolute sum or square sum in the block can be used.
【0036】但し、全ての参照フィールド画像信号に対
してこのような処理を行うと、動きベクトル検出の演算
量が2倍となってしまい、本発明の所期の目的に反す
る。そこで、本実施例では以下のように上記の処理を行
う場合を制限する。
However, if such a process is performed on all the reference field image signals, the calculation amount of motion vector detection is doubled, which is against the intended purpose of the present invention. Therefore, in this embodiment, the case where the above processing is performed is limited as follows.
【0037】図4(b)に示すようなフィールド間予測
を仮定した場合、Bピクチャでは4つの参照フィールド
画像に対する動きベクトル検出能力が必要であるが、奇
フィールドのPピクチャでは最大でも3つの参照フィー
ルド画像に対する動きベクトル検出しか行わない。本実
施例による効果は、特に隣接するフィールド間で動きベ
クトルを検出するときに大きい。そこで、フィルタ32
を通したフィールドとのブロックマッチングは、偶フィ
ールドのP(I)ピクチャを参照画像として奇フィール
ドのPピクチャに対する動きベクトルを検出する場合に
のみに限定するようにする。このようにすれば、Pピク
チャの奇フィールドを探索する際にBピクチャ用として
用意された4つの動きベクトルを検出する能力の一部を
流用することができるために、ハードウェア規模の増加
はない。
Assuming the inter-field prediction as shown in FIG. 4B, a B picture needs a motion vector detecting ability for four reference field images, but an odd field P picture has a maximum of three references. Only motion vector detection for field images is performed. The effect of this embodiment is particularly great when detecting a motion vector between adjacent fields. Therefore, the filter 32
The block matching with the field that has passed through is limited to the case where the motion vector for the P picture of the odd field is detected using the P (I) picture of the even field as a reference image. By doing so, part of the ability to detect the four motion vectors prepared for the B picture when searching for an odd field of the P picture can be diverted, and the hardware scale does not increase. ..
【0038】[0038]
【発明の効果】本発明によれば、動画像信号に対する動
きベクトルを検出する際に、繰り返し演算等による処理
量の大幅な増加なしに、垂直方向に位相のずれたフィー
ルド間で精度の高い動きベクトルを検出することができ
る。
According to the present invention, when a motion vector for a moving image signal is detected, a highly accurate motion can be achieved between vertically phase-shifted fields without a large increase in the amount of processing due to repeated calculations. Vectors can be detected.
【0039】また、本発明によれば、小数画素精度の動
き補償予測符号化や、ループ内フィルタを組み込んだ動
き補償予測符号化の符号化効率に悪影響を与えない、信
頼性の高い動きベクトルの検出が可能となる。
Further, according to the present invention, a highly reliable motion vector which does not adversely affect the coding efficiency of the motion-compensated predictive coding with the decimal pixel precision and the motion-compensated predictive coding incorporating the in-loop filter. It becomes possible to detect.
【図面の簡単な説明】[Brief description of drawings]
【図1】本発明の一実施例に係る動きベクトル検出装置
のブロック図
FIG. 1 is a block diagram of a motion vector detection device according to an embodiment of the present invention.
【図2】図1における属性判定回路の具体的な構成例を
示すブロック図
FIG. 2 is a block diagram showing a specific configuration example of an attribute determination circuit in FIG.
【図3】同実施例におけるブロックの拡大を示す図FIG. 3 is a diagram showing enlargement of blocks in the embodiment.
【図4】動き補償予測符号化に使用される各フレーム画
像または各フィールド画像の関係を示す図
FIG. 4 is a diagram showing a relationship between each frame image or each field image used for motion compensation predictive coding.
【図5】本発明の他の実施例に係る動きベクトル検出装
置のブロック図
FIG. 5 is a block diagram of a motion vector detecting device according to another embodiment of the present invention.
【図6】ブロックマッチングによる動きベクトル検出法
の原理を説明するための図
FIG. 6 is a diagram for explaining the principle of a motion vector detection method by block matching.
【図7】インタレース画像における各フィールドの関係
を示す図
FIG. 7 is a diagram showing a relationship between fields in an interlaced image.
【図8】小数画素精度の動き補償を説明するための図FIG. 8 is a diagram for explaining motion compensation with decimal pixel precision.
【符号の説明】[Explanation of symbols]
10…画像信号入力端子 11…属性判定
回路 12…ブロックサイズ決定回路 13…フレーム
(フィールド)メモリ 14…動きベクトル検出回路 15…動きベク
トル情報出力端子 21…輪郭検出フィルタ 22…絶対値回
路 23…閾値回路 24…カウンタ 30…画像信号入力端子 31…フィール
ドメモリ 32…フィルタ 33…スイッチ
回路 34…動きベクトル検出回路 35…評価回路 36…動きベクトル情報出力端子
10 ... Image signal input terminal 11 ... Attribute determination circuit 12 ... Block size determination circuit 13 ... Frame (field) memory 14 ... Motion vector detection circuit 15 ... Motion vector information output terminal 21 ... Contour detection filter 22 ... Absolute value circuit 23 ... Threshold Circuit 24 ... Counter 30 ... Image signal input terminal 31 ... Field memory 32 ... Filter 33 ... Switch circuit 34 ... Motion vector detection circuit 35 ... Evaluation circuit 36 ... Motion vector information output terminal

Claims (2)

    【特許請求の範囲】[Claims]
  1. 【請求項1】入力画像信号を所定量蓄える記憶手段と、 この記憶手段に蓄えられた画像信号に対する新たな入力
    画像信号の動きを示す動きベクトルを所定サイズのブロ
    ック単位で検出する動きベクトル検出手段と、 前記入力画像信号の各ブロックの属性を少なくとも輪郭
    部の割合を用いて判定する判定手段と、 この判定手段の判定結果に基づいて、前記動きベクトル
    検出手段における動きベクトル検出のためのブロックサ
    イズを前記輪郭部の割合が多いほど大きくなるように決
    定するブロックサイズ決定手段とを具備することを特徴
    とする画像の動きベクトル検出装置。
    1. A storage means for storing a predetermined amount of an input image signal, and a motion vector detection means for detecting a motion vector indicating a movement of a new input image signal with respect to the image signal stored in the storage means, in units of blocks of a predetermined size. Determination means for determining the attribute of each block of the input image signal using at least the proportion of the contour portion, and a block size for motion vector detection in the motion vector detection means based on the determination result of this determination means. And a block size determining means for determining so as to increase as the proportion of the contour portion increases.
  2. 【請求項2】入力フィールド画像信号を少なくとも1フ
    ィールド分記憶する記憶手段と、 この記憶手段に蓄えられたフィールド画像信号に対して
    フィルタ処理を施すフィルタ手段と、 このフィルタ手段によりフィルタ処理が施されたフィー
    ルド画像信号に対する新たな入力フィールド画像信号の
    動きを示す第1の動きベクトル、および前記記憶手段に
    蓄えられたフィールド画像信号に対する新たな入力フィ
    ールド画像信号の動きを示す第2の動きベクトルを検出
    する動きベクトル検出手段と、 この手段により検出された第1および第2の動きベクト
    ルを評価し、評価結果の良い方の動きベクトルを出力せ
    しめる評価手段とを具備することを特徴とする画像の動
    きベクトル検出装置。
    2. Storage means for storing at least one field of an input field image signal, filtering means for filtering the field image signal stored in this storage means, and filtering processing by this filtering means. A first motion vector indicating the motion of the new input field image signal with respect to the field image signal, and a second motion vector indicating the motion of the new input field image signal with respect to the field image signal stored in the storage means. Motion vector detecting means for evaluating the first and second motion vectors detected by this means, and evaluating means for outputting the motion vector having the better evaluation result, the motion of the image. Vector detection device.
JP28685791A 1991-10-31 1991-10-31 Motion vector detection device for image Pending JPH05130588A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP28685791A JPH05130588A (en) 1991-10-31 1991-10-31 Motion vector detection device for image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28685791A JPH05130588A (en) 1991-10-31 1991-10-31 Motion vector detection device for image

Publications (1)

Publication Number Publication Date
JPH05130588A true JPH05130588A (en) 1993-05-25

Family

ID=17709928

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28685791A Pending JPH05130588A (en) 1991-10-31 1991-10-31 Motion vector detection device for image

Country Status (1)

Country Link
JP (1) JPH05130588A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07222161A (en) * 1993-11-24 1995-08-18 Samsung Electron Co Ltd Circuit and method for detecting motion based on space information
JP2003009179A (en) * 2001-06-22 2003-01-10 Olympus Optical Co Ltd Motion vector and parallax vector detecting device
JP2007135036A (en) * 2005-11-11 2007-05-31 Kddi Corp Motion vector detection method and moving image encoder

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07222161A (en) * 1993-11-24 1995-08-18 Samsung Electron Co Ltd Circuit and method for detecting motion based on space information
JP2003009179A (en) * 2001-06-22 2003-01-10 Olympus Optical Co Ltd Motion vector and parallax vector detecting device
JP4608136B2 (en) * 2001-06-22 2011-01-05 オリンパス株式会社 Motion vector and parallax vector detection device
JP2007135036A (en) * 2005-11-11 2007-05-31 Kddi Corp Motion vector detection method and moving image encoder
JP4622816B2 (en) * 2005-11-11 2011-02-02 Kddi株式会社 Motion vector detection method and moving picture coding apparatus

Similar Documents

Publication Publication Date Title
KR930002613B1 (en) Image motion vector detector
JP3277418B2 (en) Apparatus and method for detecting motion vector
US6418168B1 (en) Motion vector detection apparatus, method of the same, and image processing apparatus
JP4213035B2 (en) Occlusion detector and method for detecting an occlusion region
JP4385077B1 (en) Motion vector detection device and image processing device
JPH08223578A (en) Method for searching motion vector and device therefor
JP3067275B2 (en) Scene change detection device
JPH07154801A (en) Hierarchical motion vector detection method
JPH05130588A (en) Motion vector detection device for image
EP0647919B1 (en) Method and apparatus for correcting motion vectors
JP2930675B2 (en) Motion vector detection method using initial displacement vector
JP2006215657A (en) Method, apparatus, program and program storage medium for detecting motion vector
JP2507178B2 (en) Motion detection method and motion detection device
JPH1042300A (en) Motion vector detection device
KR20010034374A (en) Device and method for detecting moving vector
JP2676978B2 (en) MOTION VECTOR DETECTING DEVICE, IMAGE SHAKE CORRECTION DEVICE, MOTION VECTOR DETECTION METHOD, AND IMAGE SHAKE CORRECTION METHOD
JPH0787499A (en) Method and device for detecting motion vector
JP3271387B2 (en) Motion amount detection device and motion amount detection method
JPH0549023A (en) Motion information detection system for moving picture
JPH0795585A (en) Moving vector detector
JP3057746B2 (en) Coding method for interlaced video
JP2934156B2 (en) Hierarchical motion detection method and apparatus
JPH11243546A (en) Image coder and method
JPH0530411A (en) Picture motion vector detector and picture jiggling correction device
JPH05236454A (en) Method and device for detecting motion vector for encoding image