JP4883029B2 - Motion vector detection circuit, motion vector detection device, and integrated circuit - Google Patents

Motion vector detection circuit, motion vector detection device, and integrated circuit Download PDF

Info

Publication number
JP4883029B2
JP4883029B2 JP2008054417A JP2008054417A JP4883029B2 JP 4883029 B2 JP4883029 B2 JP 4883029B2 JP 2008054417 A JP2008054417 A JP 2008054417A JP 2008054417 A JP2008054417 A JP 2008054417A JP 4883029 B2 JP4883029 B2 JP 4883029B2
Authority
JP
Japan
Prior art keywords
motion vector
estimated
reference block
correlation value
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008054417A
Other languages
Japanese (ja)
Other versions
JP2009212884A (en
Inventor
和志 野澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2008054417A priority Critical patent/JP4883029B2/en
Priority to US12/397,737 priority patent/US20090225227A1/en
Publication of JP2009212884A publication Critical patent/JP2009212884A/en
Application granted granted Critical
Publication of JP4883029B2 publication Critical patent/JP4883029B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像信号から動きベクトルを検出する技術に関し、特に、動きベクトルの検出精度を向上させる動きベクトル検出回路、動きベクトル検出装置、当該機能を組み込んだ集積回路に関する。   The present invention relates to a technique for detecting a motion vector from an image signal, and more particularly to a motion vector detection circuit, a motion vector detection device, and an integrated circuit incorporating the function, which improve motion vector detection accuracy.

従来の画像信号の動きベクトル検出装置としては、ブロックマッチング法に基づいた構成がある。すなわち、対象画像を複数のブロックに分割し、動きを検出しようとする注目ブロックと、対象画像の前または後フレームにおける、所定の探索範囲内の複数の候補領域(候補ブロック)との相関度をそれぞれ評価して、それらの候補ブロックの中で最も相関度の高い候補ブロックを決定し、その候補ブロックと注目ブロックとの変位を動きベクトルとするものである。   As a conventional motion vector detection device for an image signal, there is a configuration based on a block matching method. That is, the target image is divided into a plurality of blocks, and the degree of correlation between the target block whose motion is to be detected and a plurality of candidate regions (candidate blocks) within a predetermined search range in the frame before or after the target image is calculated. Each of the candidate blocks is evaluated to determine a candidate block having the highest correlation, and the displacement between the candidate block and the target block is used as a motion vector.

また、上述の複数の候補ブロックの一つとして、その注目ブロックを含むライン方向のブロック、あるいは、その注目ブロックを含むカラム方向のブロックにおいて、検出された動きベクトルの平均結果を使用することにより、検出性能を向上する構成もある。   Further, as one of the plurality of candidate blocks described above, by using the average result of the detected motion vectors in the block in the line direction including the target block or the block in the column direction including the target block, Some configurations improve detection performance.

また、その注目ブロックが画像の境界ブロックである場合に、その注目ブロックを含むライン方向のブロック、あるいは、その注目ブロックを含むカラム方向のブロックにおいて、検出された動きベクトルの代表値を割り当てることにより、検出性能を向上する構成もある。
特開2005−287047号公報 特開2005−287048号公報
In addition, when the target block is a boundary block of an image, by assigning a representative value of the detected motion vector to the block in the line direction including the target block or the block in the column direction including the target block. Some configurations improve detection performance.
Japanese Patent Laying-Open No. 2005-287047 JP 2005-287048 A

画像信号の動きベクトル検出において、本来検出されるべき正しい動きベクトルが効果的に検出できないという問題がある。例えば、物体と背景が違う方向に動くような、動きの異なるものが複数混在する画像において、その複数存在する動きにより、動く物体の境界領域等において上述の問題が発生しやすい。   In motion vector detection of an image signal, there is a problem that a correct motion vector that should be detected cannot be detected effectively. For example, in an image in which a plurality of objects with different motions are mixed such that the object and the background move in different directions, the above-described problem is likely to occur in the boundary region of the moving object due to the plurality of motions.

本発明は、上述した従来の課題を解決するもので、正しい動きベクトルを効果的に検出することを目的とする。   An object of the present invention is to solve the above-described conventional problems and to effectively detect a correct motion vector.

上述した目的を達成するために、本発明は、入力される画像信号から動きベクトルを検出する動きベクトル検出回路において、画像信号を構成する表示画の部分領域である基準ブロックの動きベクトルを推定した推定動きベクトルと、推定動きベクトルの指し示す推定ブロックと該基準ブロックとの相関値を算出する動きベクトル推定部と、動きベクトル推定部を第1の基準ブロックに適用した際に算出される第1の推定動きベクトルに応じて第2の基準ブロックを算出する動きベクトル変換部と、前記動きベクトル推定部を第2の基準ブロックに適用した際に算出される相関値である第2の相関値を取得する相関値計算部と、前記動きベクトル推定部を第1の基準ブロックに適用した際に算出される第1の相関値と前記第2の相関値に応じて、第2の基準ブロックの動きベクトルを生成して出力する動きベクトル決定部とを備えることを特徴とする。   To achieve the above object, the present invention estimates a motion vector of a reference block, which is a partial region of a display image constituting an image signal, in a motion vector detection circuit that detects a motion vector from an input image signal. An estimated motion vector, a motion vector estimator that calculates a correlation value between the estimated block indicated by the estimated motion vector and the reference block, and a first calculated when the motion vector estimator is applied to the first reference block A motion vector conversion unit that calculates a second reference block according to the estimated motion vector, and a second correlation value that is a correlation value calculated when the motion vector estimation unit is applied to the second reference block Corresponding to the first correlation value and the second correlation value calculated when the correlation value calculation unit and the motion vector estimation unit are applied to the first reference block , Characterized in that it comprises a motion vector determination unit that generates and outputs a motion vector of a second reference block.

なお、動きベクトル変換部は、第1の推定動きベクトルと略同一方向又は略反対方向をもつベクトルが指し示す位置のブロックを第2の基準ブロックすることや、さらに第1の推定動きベクトルと同じ絶対値の大きさを持つベクトルが指し示す位置のブロックを第2の基準ブロックとしてもよい。   Note that the motion vector conversion unit performs a second reference block on a block at a position indicated by a vector having substantially the same direction or a substantially opposite direction as the first estimated motion vector, and further the same absolute value as the first estimated motion vector. The block at the position indicated by the vector having the magnitude of the value may be used as the second reference block.

また、動きベクトル変換部は、一つの第1の推定動きベクトルに対して複数の第2の基準ブロックを算出するものであってもよい。   In addition, the motion vector conversion unit may calculate a plurality of second reference blocks for one first estimated motion vector.

さらに、動きベクトル変換部は、第1の推定動きベクトルにある大きさのベクトルを加算したベクトルや、第1の推定動きベクトルをある大きさの値で乗算したベクトルが指し示す位置のブロックを第2の基準ブロックとしてもよい。   Further, the motion vector conversion unit outputs a block at a position indicated by a vector obtained by adding a vector having a certain size to the first estimated motion vector or a vector obtained by multiplying the first estimated motion vector by a certain value. The reference block may be used.

また、動きベクトル決定部は、第1の相関値とある閾値を比較して動きベクトルを決定してもよいし、反対に第2の相関値とある閾値を比較して動きベクトルを決定してもよい。   In addition, the motion vector determination unit may determine a motion vector by comparing the first correlation value with a certain threshold value, or conversely, determine a motion vector by comparing the second correlation value with a certain threshold value. Also good.

本発明は、電気回路又は電子回路のような装置等の一部の機能であるモジュールや、当該機能を目的とした動きベクトル検出装置のような処理装置、又は当該機能を組み込んだ集積回路といったハードウェア構成だけでなく、CPU、MPU,DSP等の演算装置上で動作するソフトウェアとしても実現可能である。   The present invention relates to a module that is a partial function of a device such as an electric circuit or an electronic circuit, a processing device such as a motion vector detection device for the function, or a hardware such as an integrated circuit incorporating the function. It can be realized not only as a hardware configuration but also as software operating on an arithmetic device such as a CPU, MPU, DSP, or the like.

本発明の目的は、動きベクトルをより高精度に検出することである。   An object of the present invention is to detect a motion vector with higher accuracy.

以下、本発明の実施の形態に関する例について、図面を参照しながら説明する。なお、以下において記述される数字は、すべて本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
(第1の実施の形態)
図1は、第1の実施の形態の動きベクトル検出装置の構成を示す機能ブロック図である。第1の実施の形態の動きベクトル検出装置は、動画又は静止画等の画像信号としてRGB信号を入力し、動きベクトルを出力するものである。動きベクトル検出装置100は、YUV変換部101、動きベクトル推定部102、動きベクトル変換部103、相関値計算部104、動きベクトル決定部105を備える。
Hereinafter, examples relating to embodiments of the present invention will be described with reference to the drawings. In addition, all the numbers described in the following are illustrated in order to specifically explain the present invention, and the present invention is not limited to the illustrated numbers.
(First embodiment)
FIG. 1 is a functional block diagram illustrating a configuration of the motion vector detection device according to the first embodiment. The motion vector detection apparatus according to the first embodiment inputs an RGB signal as an image signal such as a moving image or a still image, and outputs a motion vector. The motion vector detection apparatus 100 includes a YUV conversion unit 101, a motion vector estimation unit 102, a motion vector conversion unit 103, a correlation value calculation unit 104, and a motion vector determination unit 105.

YUV変換部101は、入力されるRGB色空間の画像信号をYUV色空間の画像信号に変換する。YUV変換部101は入力される画像信号と後段の処理に入力される信号との整合性を保つために挿入されるものであり、動きベクトル検出装置100と動きベクトル推定部102の入力が共通である場合には、必ずしも必要ではない。また、外部から入力される信号と後段で必要とされる信号の組み合わせによりこの部分の変換機能は適宜変更が必要である。   The YUV conversion unit 101 converts an input RGB color space image signal into a YUV color space image signal. The YUV conversion unit 101 is inserted in order to maintain consistency between the input image signal and the signal input to the subsequent processing, and the inputs of the motion vector detection device 100 and the motion vector estimation unit 102 are common. In some cases it is not necessary. In addition, the conversion function of this part needs to be appropriately changed depending on the combination of the signal input from the outside and the signal required in the subsequent stage.

動きベクトル推定部102は、YUV色空間信号で入力される画像信号から動きベクトルを推定するものである。具体的構成を図2に示す。   The motion vector estimation unit 102 estimates a motion vector from an image signal input as a YUV color space signal. A specific configuration is shown in FIG.

ブロック分割部201で、入力された画像信号のフレーム画像(表示画)を複数の領域(ブロック)に分割する(図3)。基準ブロック決定部202は、分割されたブロックからフレーム画像のすべての領域を網羅するように基準ブロックを順に設定する。ここで、基準ブロックとは、動きベクトルを推定又は検出する対象となる際の動きベクトルの起点となるブロックを意味する。   The block dividing unit 201 divides the frame image (display image) of the input image signal into a plurality of regions (blocks) (FIG. 3). The reference block determination unit 202 sequentially sets the reference blocks so as to cover all regions of the frame image from the divided blocks. Here, the reference block means a block that is a starting point of the motion vector when the motion vector is to be estimated or detected.

候補ブロック決定部203は、基準ブロック決定部202で基準ブロックに指定されたブロックをそれぞれ起点とした推定動きベクトルの候補となる所定の探索範囲内の複数のブロック(候補ブロック)を決定する。
ここで、所定の探索範囲の設定方法の一つとしてフレーム全体を探索範囲とすることもできる。この場合、フレームに含まれるすべてのブロックについて探索をおこなうこととなり(全探索)、算出される動きベクトルの信頼性は向上する。反対に、フレームの一部のみを探索範囲(部分探索)とすることもできる。この場合は、計算量を相対的に軽減させることが可能である。
The candidate block determination unit 203 determines a plurality of blocks (candidate blocks) within a predetermined search range, which are candidates for estimated motion vectors, each starting from the block designated as the reference block by the reference block determination unit 202.
Here, as one method for setting a predetermined search range, the entire frame can be set as the search range. In this case, all blocks included in the frame are searched (full search), and the reliability of the calculated motion vector is improved. On the contrary, only a part of the frame can be set as a search range (partial search). In this case, the calculation amount can be relatively reduced.

また、上記の探索範囲は、基準ブロックが含まれるフレームに対して、時間軸上の前および/または後の1つ以上のフレームにわたる所定の範囲に設定される(図3)。   The search range is set to a predetermined range over one or more frames before and / or after on the time axis with respect to the frame including the reference block (FIG. 3).

候補ブロック相関値計算部204は、基準ブロックと個々の候補ブロック間の相関値を全ての候補ブロックについてそれぞれ求める。相関値は、基準ブロックと候補ブロックのそれぞれに対応する画素同士の差分絶対値の総和、あるいは、それぞれに対応する画素同士の差分二乗値の総和など、ブロック間の近似度合いが大きい程、示す値が小さくなるものでよい。   The candidate block correlation value calculation unit 204 obtains correlation values between the reference block and individual candidate blocks for all candidate blocks. The correlation value is a value that is shown as the degree of approximation between blocks increases, such as the sum of absolute differences between pixels corresponding to the reference block and the candidate block, or the sum of squared differences between pixels corresponding to each of the reference blocks and candidate blocks. It may be a small one.

差分値の計算は、YUVの画像信号の場合の各画素はY、Cb,Crそれぞれの信号から構成されているため(図4)、全ての成分(Y、Cb、Cr)について差分を求めてもよいが、この場合には計算量が増大する。より高速に計算するには、画像構成に影響度の大きい輝度(Y)信号のみに着目して相関値を算出してもよい。この場合は、Cb、Crについての計算を省略することができ、高速に相関値を計算することができる。   In the calculation of the difference value, since each pixel in the case of a YUV image signal is composed of Y, Cb, and Cr signals (FIG. 4), the difference is obtained for all components (Y, Cb, and Cr). However, in this case, the calculation amount increases. In order to calculate at higher speed, the correlation value may be calculated by paying attention only to the luminance (Y) signal having a large influence on the image configuration. In this case, the calculation for Cb and Cr can be omitted, and the correlation value can be calculated at high speed.

なお、図4に示す場合において、YUV全ての画素を考慮した際における相関値は、差分絶対値総和は77となり、差分二乗総和は411となる。また、輝度信号(Y)のみを考慮した場合の相関値は、差分絶対値総和が52、差分二乗総和は236となる。   In the case shown in FIG. 4, the correlation value when considering all the pixels of YUV is 77 for the absolute difference total and 411 for the square difference. The correlation value when only the luminance signal (Y) is considered is 52 for the sum of absolute differences and 236 for the sum of squared differences.

推定動きベクトル決定部205は、候補ブロック相関値計算部204で計算されたそれぞれの候補ブロックの相関値から最も相関が高い(相関値の小さい)ブロックを基準ブロックの移動先ブロック(推定ブロック)とする。そして、推定動きベクトル、推定動きベクトル相関値、基準位置を出力する。推定動きベクトルは、基準ブロックを起点、推定ブロックを終点とするものである。推定動きベクトル相関値は、該推定動きベクトルで示される基準ブロックと推定ブロック間の相関値である。基準位置は、基準ブロックがフレーム上で配置されている位置である。   The estimated motion vector determination unit 205 sets a block having the highest correlation (low correlation value) as the movement destination block (estimation block) of the reference block from the correlation values of the candidate blocks calculated by the candidate block correlation value calculation unit 204. To do. Then, an estimated motion vector, an estimated motion vector correlation value, and a reference position are output. The estimated motion vector has a reference block as a starting point and an estimated block as an end point. The estimated motion vector correlation value is a correlation value between the reference block and the estimated block indicated by the estimated motion vector. The reference position is a position where the reference block is arranged on the frame.

動きベクトル推定部102は、ブロック分割部201で分割された全てのブロックを順に基準ブロックとし、それぞれ基準ブロックについて推定動きベクトルと他のブロックとの相関値を計算し出力する。   The motion vector estimation unit 102 sets all the blocks divided by the block division unit 201 as reference blocks in order, and calculates and outputs a correlation value between the estimated motion vector and another block for each reference block.

ここで、
動きベクトル変換部103は、動きベクトル推定部102が算出した推定動きベクトルに基づいて、入力された推定動きベクトルを変換して別の新たな動きベクトル(変換ベクトル)を生成し対象ブロックを参照するものである。
here,
The motion vector conversion unit 103 converts the input estimated motion vector based on the estimated motion vector calculated by the motion vector estimation unit 102, generates another new motion vector (conversion vector), and refers to the target block. Is.

動きベクトルの変換の方法として幾つかの考え方がある。例えば上記のような動きベクトル推定部102における推定動きベクトルの算出に関しては、画面全体が一様に動く場合、画面を構成する主要な被写体等が動く場合など、画像内の比較的大きな領域が同様な動き状態となる場合には、その基準ブロックの周辺のブロックが、基準ブロックと同様な動きベクトルを持つ可能性が高いこと考えられる。   There are several ways to convert motion vectors. For example, regarding the calculation of the estimated motion vector in the motion vector estimation unit 102 as described above, a relatively large area in the image is the same, for example, when the entire screen moves uniformly or when a main subject constituting the screen moves. In the case of a simple motion state, there is a high possibility that the blocks around the reference block have the same motion vector as the reference block.

また、画像の動きに関して、画面全体あるいは被写体等の動きにおいての方向の一様性を考慮すれば、基準ブロックの周辺のブロックのうち、基準ブロックを起点として、動きベクトル推定部102により推定された推定動きベクトルと略同一方向に位置するブロックについても、基準ブロックと類似した動きベクトル値となる可能性が高いことが考えられる。   In addition, regarding the movement of the image, if the uniformity of the direction in the movement of the entire screen or the subject is taken into consideration, the motion vector estimation unit 102 estimated from the reference block as a starting point among the blocks around the reference block. It is conceivable that a block located in substantially the same direction as the estimated motion vector is also likely to have a motion vector value similar to the reference block.

そこで、動きベクトル変換部103は、上記動きベクトル推定部102の出力である、推定動きベクトル値に対して、そのベクトルが持つ方向に関する変換を主として行う。   Therefore, the motion vector conversion unit 103 mainly performs conversion regarding the direction of the vector with respect to the estimated motion vector value that is the output of the motion vector estimation unit 102.

具体的な変換内容としては、入力された動きベクトルに対して、そのベクトルと反対向きでかつ大きさのほぼ等しい動きベクトルを算出する、あるいは、そのベクトルと同じ向きでかつ大きさのほぼ等しい動きベクトルを算出するなどである。要するに、入力された動きベクトルが持つ方向と略同一方向又は略反対方向に大きさの等しいベクトルを算出するものである。   As specific conversion contents, for the input motion vector, a motion vector opposite in direction to the vector and approximately equal in size is calculated, or motion in the same direction as the vector and approximately equal in size. Such as calculating a vector. In short, a vector having the same magnitude in the direction substantially the same as or substantially opposite to the direction of the input motion vector is calculated.

動きベクトル変換部103における変換の内容を、動きベクトル推定部102の推定動きベクトルに対して、そのベクトルと反対向きでかつ大きさの等しい動きベクトル値にする場合と、そのベクトルと同じ向きでかつ大きさの等しい動きベクトル値にする場合とでは、基準ブロックにおいて検出された動きに関して、その動きの前方向への推測を行うか、あるいは後方向への推測を行うか、とを制御することができる。   The content of the conversion in the motion vector conversion unit 103 is set to a motion vector value opposite in direction and equal in magnitude to the estimated motion vector of the motion vector estimation unit 102, and in the same direction as the vector and In the case of the motion vector values having the same magnitude, it is possible to control whether the motion detected in the reference block is estimated in the forward direction or in the backward direction. it can.

また、入力された動きベクトルと、略同一方向の予め定められた大きさを持つベクトルとを加算して得られるベクトルを算出する、あるいは、入力された動きベクトルに、予め定められた乗算値を乗算して得られるベクトルを算出するなどの変換もある。   Also, a vector obtained by adding the input motion vector and a vector having a predetermined magnitude in substantially the same direction is calculated, or a predetermined multiplication value is added to the input motion vector. There is also conversion such as calculating a vector obtained by multiplication.

ここで、動きベクトル変換部103において、変換されたベクトルである変換ベクトルにより特定されるブロックを対象ブロックとすると、動きベクトル変換部103は、変換ベクトルの起点となる基準ブロックと、変換ベクトルの終点となる対象ブロックの組み合わせを新たに生成する(組み合わせる)ものと言い換えることもできる。   Here, in the motion vector conversion unit 103, assuming that a block specified by a conversion vector that is a converted vector is a target block, the motion vector conversion unit 103 includes a reference block that is a starting point of the conversion vector, and an end point of the conversion vector. In other words, the combination of target blocks to be generated is newly generated (combined).

ベクトル変換部103における変換の内容を、動きベクトル推定部102の推定動きベクトルと、略同一方向又は略反対方向の予め定められた大きさを持つベクトルとを加算して、その推定動きベクトルを変化させるような算出とした場合は、基準ブロックと対象ブロックとの変位距離を、基準ブロックにおいて検出された推定動きベクトルに対して独立的に増減させる制御とすることができる。   The content of the conversion in the vector conversion unit 103 is changed by adding the estimated motion vector of the motion vector estimation unit 102 and a vector having a predetermined magnitude in substantially the same direction or substantially the opposite direction, and changing the estimated motion vector In such a calculation, the displacement distance between the reference block and the target block can be controlled to increase or decrease independently with respect to the estimated motion vector detected in the reference block.

また、ベクトル変換部103における変換の内容を、動きベクトル推定部102の推定動きベクトルと、予め定められた乗算値とを乗算して、その大きさを変化させるような算出とした場合は、基準ブロックと対象ブロックとの変位距離を、基準ブロックにおいて検出された推定動きベクトルに対して従属的に増減させる制御とすることができる。   In addition, when the content of the conversion in the vector conversion unit 103 is calculated by changing the magnitude by multiplying the estimated motion vector of the motion vector estimation unit 102 by a predetermined multiplication value, The displacement distance between the block and the target block can be controlled to increase or decrease dependently with respect to the estimated motion vector detected in the reference block.

このような、動きベクトル推定部102および動きベクトル変換部103の出力である推定動きベクトル、変換された動きベクトルは、画像信号の水平方向および垂直方向の成分を有するものであり、それらの成分は有限な値である。   Such an estimated motion vector output from the motion vector estimation unit 102 and the motion vector conversion unit 103 and the converted motion vector have components in the horizontal direction and the vertical direction of the image signal, and these components are It is a finite value.

したがって、現フレーム内での基準ブロックの位置(基準位置)に対して、動きベクトル変換部103で変換されたベクトル値を設定すると、基準ブロック位置を起点として、そのベクトル値の方向(略正方向又は略反対方向)および大きさに対応した新たなブロック(対象ブロック)の位置を決定することができる(図5)。この対象ブロックは、基準ブロックの周辺において、当該基準ブロックと同様な動きベクトルを取る可能性が高いブロックである。   Therefore, when the vector value converted by the motion vector conversion unit 103 is set for the position of the reference block (reference position) in the current frame, the direction of the vector value (substantially positive direction) starts from the reference block position. Alternatively, the position of a new block (target block) corresponding to the size and the opposite direction can be determined (FIG. 5). This target block is a block that has a high possibility of taking a motion vector similar to that of the reference block around the reference block.

また、対象ブロックは一つの基準ブロックに対して一つに限定されるものではない。例えば、画面上において基準ブロックの位置を起点とし、ある対象ブロックの位置を終点とするベクトルが通過する他のブロックについても、同様に対象ブロックとすることができる(図6)。この場合は、基準ブロックが複数の対象ブロックへの動きベクトルを持つ可能性があることとなる。また、反対にすべての基準ブロックに対して、一つも対象ブロックが割当てられないとすることもできる。この場合は、当該基準ブロックが画面内で移動する動き先がないこととなる。   Further, the target block is not limited to one for one reference block. For example, other blocks through which a vector whose starting point is the position of the reference block on the screen and whose end point is the position of a certain target block can be similarly set as the target block (FIG. 6). In this case, the reference block may have motion vectors for a plurality of target blocks. Conversely, no target block can be assigned to all the reference blocks. In this case, there is no movement destination where the reference block moves within the screen.

なお、上述では、推定動きベクトルに略同一方向の予め定められた大きさのベクトルを加算したが、さらに、入力された画像信号の特徴、例えば、画面全体の動きの方向や、動きの大きさ、または画面内での明確な境界が存在する位置等により、加算するベクトルの大きさを動的に変化させてもよい。   In the above description, a vector having a predetermined magnitude in substantially the same direction is added to the estimated motion vector. However, the characteristics of the input image signal, for example, the direction of movement of the entire screen and the magnitude of the movement are also included. Alternatively, the size of the vector to be added may be dynamically changed depending on the position where a clear boundary exists in the screen.

同様に、推定動きベクトルに予め定められた乗算値を乗算したが、これも入力される画像信号の特徴を用いることで動的に変化させてもよい。その場合には、入力された画像信号により適切な動きベクトルの検出が可能となる。   Similarly, the estimated motion vector is multiplied by a predetermined multiplication value, but this may also be dynamically changed by using the characteristics of the input image signal. In that case, an appropriate motion vector can be detected from the input image signal.

相関値計算部104は、動きベクトル変換部103から算出される対象ブロックを基準ブロックとした際の動きベクトル推定部102が算出する相関値を算出する(図5)。つまり相関値計算部104は、動きベクトル推定部102が対象ブロックについて算出する相関値と同じものを算出するものである。   The correlation value calculation unit 104 calculates a correlation value calculated by the motion vector estimation unit 102 when the target block calculated from the motion vector conversion unit 103 is used as a reference block (FIG. 5). That is, the correlation value calculation unit 104 calculates the same correlation value that the motion vector estimation unit 102 calculates for the target block.

なお、動きベクトル推定部102においてフレームを構成するすべてのブロックについて相関値が計算されていれば、相関値計算部104は、動きベクトル推定部102で行った同じ計算を繰り返さなくても、その計算結果を利用(取得)することで当該対象ブロックが本来持つ相関値を得ることも可能である。   Note that if the correlation value is calculated for all the blocks constituting the frame in the motion vector estimation unit 102, the correlation value calculation unit 104 does not have to repeat the same calculation performed by the motion vector estimation unit 102. By using (acquiring) the result, it is also possible to obtain a correlation value inherent to the target block.

また、別の方法として、相関値計算部104が、動きベクトル推定部102が算出した全てのブロックについての相関値を継承/保持し、そこから対象ブロックの相関値を選択する構成とすることも可能である。   As another method, the correlation value calculation unit 104 may inherit / hold the correlation values for all the blocks calculated by the motion vector estimation unit 102 and select the correlation value of the target block therefrom. Is possible.

これら動きベクトル推定部102および相関値計算部104における相関値は、基準ブロック、対象ブロックにおいて検出されたそれぞれの動きベクトルに対する相関度合い(関連性の度合い)を示すものであり、相関値の大きさが小さい程、動きベクトルが指し示すブロックとの相関度が高いことを表わし、算出された動きベクトル値の確からしさ、すなわち信頼性が高いことを示すものである。   The correlation values in the motion vector estimation unit 102 and the correlation value calculation unit 104 indicate the degree of correlation (degree of relevance) with respect to the respective motion vectors detected in the reference block and the target block. The smaller the value, the higher the degree of correlation with the block indicated by the motion vector, and the higher the certainty of the calculated motion vector value, that is, the higher the reliability.

次に、動きベクトル決定部105は、基準ブロックについて算出された推定動きベクトルと相関値、及び、対象ブロックについて算出された推定動きベクトルと相関値(図5)を取込む。動きベクトル決定部105は、この二つの相関値を利用して対象ブロックの動きベクトルを決定する。   Next, the motion vector determination unit 105 takes in the estimated motion vector and correlation value calculated for the reference block, and the estimated motion vector and correlation value calculated for the target block (FIG. 5). The motion vector determination unit 105 determines the motion vector of the target block using these two correlation values.

具体的には動きベクトル推定部102で算出された基準ブロックの相関値と、相関値計算部104で算出された対象ブロックの相関値を用い、この両者を比較、又は他の閾値等を利用して動きベクトルを決定する。   Specifically, the correlation value of the reference block calculated by the motion vector estimation unit 102 and the correlation value of the target block calculated by the correlation value calculation unit 104 are used, and both are compared or other threshold values are used. To determine the motion vector.

例えば、動きベクトル推定部102で算出された相関値(基準ブロックの相関値)が相関値計算部104で算出された相関値(対象ロックの相関値)より小さい場合、動きベクトル推定部102で算出された基準ブロックの推定動きベクトルを、対象ブロックの動きベクトルとして決定する。   For example, when the correlation value calculated by the motion vector estimation unit 102 (correlation value of the reference block) is smaller than the correlation value calculated by the correlation value calculation unit 104 (correlation value of the target lock), it is calculated by the motion vector estimation unit 102 The estimated motion vector of the determined reference block is determined as the motion vector of the target block.

反対に、対象ブロックの相関値が基準ブロックの相関値より小さい場合は対象ブロックの推定動きベクトルの信頼性が高いと判断し、当該推定動きベクトルを当該ブロックにおける動きベクトルとして決定する。   On the other hand, if the correlation value of the target block is smaller than the correlation value of the reference block, it is determined that the estimated motion vector of the target block is highly reliable, and the estimated motion vector is determined as a motion vector in the block.

なお、基準ブロックの相関値と対象ブロックの相関値が等しい場合、若しくは、両者の差が一定範囲内に収まる場合は、予め定めておいた一方のベクトルを動きベクトルとして決定する。ここで、一定の範囲とは、例えば
(ブロックを構成する画素の数)×(各画素が取りえる値の範囲)×許容範囲(%)
で示されるような計算によって定めることもできる。
When the correlation value of the reference block is equal to the correlation value of the target block, or when the difference between the two is within a certain range, one of the predetermined vectors is determined as the motion vector. Here, the certain range is, for example, (number of pixels constituting a block) × (range of values that each pixel can take) × allowable range (%)
It can also be determined by calculation as shown in.

別の決定方法として、基準ブロックの相関値と予め決定された閾値とを比較し、相関値が閾値よりも小さい場合に基準ブロックの推定動きベクトルを採用し、閾値と等しい場合または大きい場合は対象ブロックの推定動きベクトルを採用する方法もある。この方法によれば、基準ブロックの相関値が、対象ブロックの相関値よりも小さい場合であっても、基準ブロックの相関値が概して大きい場合には、基準ブロックの推定動きベクトルの信頼性が低いとして、対象ブロックの推定動きベクトルを優先的に採用することができる。   As another determination method, the correlation value of the reference block is compared with a predetermined threshold, and when the correlation value is smaller than the threshold, the estimated motion vector of the reference block is adopted, and when it is equal to or larger than the threshold, the target There is also a method of using an estimated motion vector of a block. According to this method, even when the correlation value of the reference block is smaller than the correlation value of the target block, the reliability of the estimated motion vector of the reference block is low when the correlation value of the reference block is generally large. As above, the estimated motion vector of the target block can be preferentially adopted.

反対に、対象ブロックの相関値と、予め決定された閾値とを比較し、相関値が閾値よりも大きい場合に、基準ブロックの推定動きベクトルを採用し、閾値と等しい又は小さい場合は対象ブロックの推定動きベクトルを採用する方法もある。この方法によれば、基準ブロックの相関値が、対象ブロックの相関値よりも小さい場合であって、対象ブロックの相関値が一定の閾値よりも小さい場合には、対象ブロックの推定動きベクトルの信頼性が高いとして、当該推定動きベクトルを優先的に採用することができる。   On the contrary, the correlation value of the target block is compared with a predetermined threshold value, and when the correlation value is larger than the threshold value, the estimated motion vector of the reference block is adopted. There is also a method that employs an estimated motion vector. According to this method, when the correlation value of the reference block is smaller than the correlation value of the target block and the correlation value of the target block is smaller than a certain threshold, the reliability of the estimated motion vector of the target block is determined. Therefore, the estimated motion vector can be preferentially adopted.

また、対象ブロックの相関値が最低値及び最大値で定められた範囲に含まれる場合に対象ブロックの推定動きベクトルを採用し、これ以外は基準ブロックの推定動きベクトルを採用することもできる。この場合には、対象ブロックの相関値の信頼性が高いと評価できる範囲は変換された対象ブロックの推定動きベクトルを優先的に採用することができる。   In addition, when the correlation value of the target block is included in the range determined by the minimum value and the maximum value, the estimated motion vector of the target block can be adopted, and otherwise, the estimated motion vector of the reference block can be adopted. In this case, the estimated motion vector of the converted target block can be preferentially adopted as the range in which the correlation value of the target block can be evaluated as having high reliability.

さらに、基準ブロックの推定動きベクトルと対象ブロックの推定動きベクトルのいずれかのみを選択するだけでなく、これらの複数のベクトルから新たなベクトルを算出してもよい。例えば、複数のベクトルが持つそれぞれの相関値の信頼性の大きさに比例してそれぞれのベクトルを加算して新たなベクトルを生成することも出来る。   Furthermore, not only the estimated motion vector of the reference block and the estimated motion vector of the target block may be selected, but a new vector may be calculated from the plurality of vectors. For example, a new vector can be generated by adding each vector in proportion to the reliability of each correlation value of a plurality of vectors.

このように、基準ブロックについて推定した動きベクトルだけでなく、他のブロックの動きベクトルをも用いて算出された対象ブロックとしての推定動きベクトルを用いることで、より精度の高い動きベクトル値を効果的に検出することが可能となる。   In this way, by using the estimated motion vector as the target block calculated using not only the motion vector estimated for the reference block but also the motion vector of another block, a more accurate motion vector value can be effectively obtained. Can be detected.

本発明の上記の特徴を活かした利用には、動きベクトルを使用して動き補償処理される画像信号の圧縮符号化、および補間画像の生成等において、高品質で高効率の処理を提供することが可能となる。   To utilize the above features of the present invention, to provide high-quality and high-efficiency processing in compression coding of an image signal subjected to motion compensation processing using a motion vector and generation of an interpolated image. Is possible.

また、動きベクトル推定部102、相関値計算部104は、YUV信号を入力とし、輝度信号(Y)により動きベクトルを推定したが、HSV(色相、彩度、明度)色空間の画像信号を入力し、これらの要素の少なくとも一つを用いて動きベクトルを推定することも可能である。この場合には、輝度では検出しにくい要素(色相、彩度、明度等)の変化で動きベクトルを推定することが可能となる。   The motion vector estimation unit 102 and the correlation value calculation unit 104 receive the YUV signal and estimate the motion vector from the luminance signal (Y), but input an image signal in the HSV (hue, saturation, brightness) color space. It is also possible to estimate a motion vector using at least one of these elements. In this case, the motion vector can be estimated from changes in elements (hue, saturation, brightness, etc.) that are difficult to detect with luminance.

また、相関値計算部104では、動きベクトル推定部102で算出した相関値を利用する方法を記載したが、これ以外の方法も可能である。例えば、相関値計算部104で再度計算することも可能であり、その際には、動きベクトル推定部102とは異なる計算方法で相関値を計算することも可能である。動きベクトル推定部102での相関値計算が輝度信号のみを利用している場合には、相関値計算部104では、すべての画素要素を用いて計算する方法がある。こうすることで、動きベクトル推定部102とは異なる指標で相関値を算出するので、より高精度な動きベクトルの検出が可能となる。   Further, although the correlation value calculation unit 104 has described the method of using the correlation value calculated by the motion vector estimation unit 102, other methods are also possible. For example, the correlation value calculation unit 104 can perform the calculation again, and in this case, the correlation value can be calculated by a calculation method different from that of the motion vector estimation unit 102. When the correlation value calculation in the motion vector estimation unit 102 uses only the luminance signal, there is a method in which the correlation value calculation unit 104 calculates using all pixel elements. By doing so, since the correlation value is calculated with an index different from that of the motion vector estimation unit 102, it is possible to detect a motion vector with higher accuracy.

なお、本発明では基準ブロック、対象ブロックとして説明したが、基準ブロックを第1の基準ブロック、推定ブロックを第1の推定ブロック、対象ブロックを第2の基準ブロック、対象ブロックの推定ブロックを第2の推定ブロック、第1の基準ブロックの推定動きベクトルを第1の推定動きベクトル、第2の基準ブロックの推定動きベクトルを第2の推定動きベクトルとして本発明を理解することも可能である。
(第2の実施の形態)
本実施の形態と第1の実施の形態との相違点は、新たに代表ベクトル生成部706が追加されている点及び動きベクトル決定部705の内部処理が一部異なる点である。そのため、本実施の形態の説明においては、第1の実施の形態と相違する点のみについて記載し、その他の点については第1の実施の形態と同様であるため説明を省略する。
In the present invention, the reference block and the target block have been described. However, the reference block is the first reference block, the estimation block is the first estimation block, the target block is the second reference block, and the target block estimation block is the second. It is also possible to understand the present invention using the estimated motion vector of the first reference block as the first estimated motion vector and the estimated motion vector of the second reference block as the second estimated motion vector.
(Second Embodiment)
The difference between the present embodiment and the first embodiment is that a representative vector generation unit 706 is newly added and the internal processing of the motion vector determination unit 705 is partially different. Therefore, in the description of the present embodiment, only the points that differ from the first embodiment are described, and the other points are the same as in the first embodiment, and thus the description thereof is omitted.

字幕やテロップ等に代表されるような、画面上の特定の垂直位置における文字等の水平方向への動き、あるいは、映画のエンドロール等のような、画面上の特定の水平位置における文字等の垂直方向への動きがある画像の場合において、基準ブロックと画面上で同じ垂直位置にある他のブロック、あるいは、基準ブロックと画面上で同じ水平位置にある他のブロック、基準ブロックとその周辺の位置にあるブロックについては推定された動きベクトルが同様または類似したものになる可能性が高いことが容易に推測できる。   Vertical movement of characters at a specific horizontal position on the screen, such as horizontal movement of characters at a specific vertical position on the screen, such as subtitles and telops, or an end roll of a movie In the case of an image with direction movement, the reference block and other blocks in the same vertical position on the screen, or the reference block and other blocks in the same horizontal position on the screen, the reference block and its surrounding positions It can be easily estimated that there is a high possibility that the estimated motion vector is the same or similar for a block in

そこで、代表ベクトル生成部706は上述の特性を活かして動きベクトルを算出するものである。   Therefore, the representative vector generation unit 706 calculates a motion vector utilizing the above-described characteristics.

代表ベクトル生成部706は、動きベクトル推定部102が算出した推定動きベクトルとその相関値を入力とする。そして、基準ブロックの周辺の複数のブロック、あるいは、基準ブロックと画面上で同じ垂直位置にある複数のブロック、あるいは、基準ブロックと画面上で同じ水平位置にある複数のブロックについての動きベクトル値に対して、平均値算出に代表される統計処理を実施し、基準ブロックの周辺の複数のブロック、あるいは、基準ブロックと画面上で同じ垂直位置にある複数のブロック、あるいは、基準ブロックと画面上で同じ水平位置にある複数のブロックにおいて代表的な動きを示す、代表ベクトル値を生成する。   The representative vector generation unit 706 receives the estimated motion vector calculated by the motion vector estimation unit 102 and its correlation value. Then, the motion vector values for a plurality of blocks around the reference block, a plurality of blocks at the same vertical position on the screen as the reference block, or a plurality of blocks at the same horizontal position on the screen as the reference block On the other hand, statistical processing represented by average value calculation is performed, and multiple blocks around the reference block, or multiple blocks in the same vertical position on the screen as the reference block, or on the reference block and the screen A representative vector value indicating a representative motion in a plurality of blocks at the same horizontal position is generated.

ここで、基準ブロックの周辺の複数のブロックの設定方法としては、例えば、基準ブロックに隣接するブロック、又はある点から一定の距離(範囲)に含まれるブロック、基準ブロックと一定の距離離れているブロック、あるいは基準ブロックと同じフレームにある全てのブロック等様々な方法がある。   Here, as a setting method of a plurality of blocks around the reference block, for example, a block adjacent to the reference block, a block included in a certain distance (range) from a certain point, or a certain distance from the reference block There are various methods such as a block or all blocks in the same frame as the reference block.

代表ベクトル生成部706の構成例を図8に示す。代表ベクトル生成部706は、動きベクトル推定部102から出力された推定動きベクトル相関値、推定動きベクトル、基準位置を入力とする。切り替え部801は入力されたこれらの情報に基づいて、当該基準位置(基準ブロック)において、代表ベクトルを生成すべきか否かを判断する。   A configuration example of the representative vector generation unit 706 is shown in FIG. The representative vector generation unit 706 receives the estimated motion vector correlation value, the estimated motion vector, and the reference position output from the motion vector estimation unit 102. Based on the input information, the switching unit 801 determines whether or not a representative vector should be generated at the reference position (reference block).

代表ベクトル生成の可否判断は、例えば、基準ブロックの表示画面上での位置が画面端に該当するか否かで判断することができる。画面端は、動きベクトルの算出が比較的困難なため、代表ベクトルを動きベクトルに利用することで動きベクトルを得ることが可能となる。   For example, whether or not the representative vector can be generated can be determined based on whether or not the position of the reference block on the display screen corresponds to the screen edge. Since it is relatively difficult to calculate a motion vector at the screen edge, a motion vector can be obtained by using a representative vector as a motion vector.

また、より高度に判断する場合には、入力される画像信号から論理的に画像の境界を検出し、当該境界付近において動きベクトルの算出に代表ベクトルを利用することができる。さらに、画像信号の内容から、字幕やテロップ等が表示されている位置、若しくは文字列が垂直方向に流れていく状況(例えば、映画のエンドロール等)等を検出して、動きベクトルの算出に代表ベクトルを利用することができる。切り替え部801は複数のブロックの推定動きベクトルに基づいて代表ベクトル生成の可否を判断する必要があるため、複数の推定動きベクトル及びその相関値を保持しておくバッファ(記憶領域)等を備えておいても良い。   In the case of more advanced determination, it is possible to logically detect an image boundary from an input image signal and use a representative vector for calculating a motion vector near the boundary. Furthermore, it is representative of motion vector calculation by detecting the position where subtitles, telops, etc. are displayed, or the situation where a character string flows in the vertical direction (for example, end roll of a movie, etc.) from the content of the image signal. Vectors can be used. Since the switching unit 801 needs to determine whether representative vectors can be generated based on the estimated motion vectors of a plurality of blocks, the switching unit 801 includes a buffer (storage area) that stores a plurality of estimated motion vectors and their correlation values. You can leave it.

代表ベクトルを生成しない場合は、入力されたこれらの情報をそのまま出力する。この場合、動きベクトル検出装置100は、第1の実施の形態と同様の内容となる。   When the representative vector is not generated, the input information is output as it is. In this case, the motion vector detection device 100 has the same contents as in the first embodiment.

切り替え部801において、代表ベクトルを生成する場合は、入力された情報を代表ベクトル算出部802へ送る。   When the switching unit 801 generates a representative vector, the input information is sent to the representative vector calculation unit 802.

代表ベクトル算出部802は、入力される情報から代表ベクトルを生成する範囲、例えば、同じ水平位置に属するブロック、同じ垂直位置に属するブロック、又は基準ブロックの周囲のブロック等を特定する。そして、特定された範囲内の推定動きベクトルから加算平均等により代表ベクトルを生成する。   The representative vector calculation unit 802 specifies a range in which a representative vector is generated from input information, for example, a block belonging to the same horizontal position, a block belonging to the same vertical position, or a block around the reference block. Then, a representative vector is generated from the estimated motion vector within the specified range by addition averaging or the like.

上述の処理により代表ベクトル生成部706は代表動きベクトルを出力する。   The representative vector generation unit 706 outputs the representative motion vector by the above processing.

このように代表ベクトル生成部706で生成された代表ベクトルは、基準ブロック及び基準ブロックの周辺のブロックにおける、画像の動きの状態を表すものであり、基準ブロック及び基準ブロックの周辺のブロックについての動きベクトルとして適応が可能である。   Thus, the representative vector generated by the representative vector generation unit 706 represents the state of motion of the image in the reference block and the blocks around the reference block, and the movement of the reference block and the blocks around the reference block. Adaptation as a vector is possible.

また、字幕、テロップ等の画面の一部が一様に動くような状態において、動きベクトルの方向の一様性を考慮すれば、基準ブロックの周辺のブロックは、基準ブロックを起点として、代表ベクトル生成部706により生成された代表ベクトルと同じ方向にあるブロックについては、この代表ベクトルと同様の動きとなると考えることが可能である。   In addition, in the state where a part of the screen such as subtitles and telops moves uniformly, if the uniformity of the direction of the motion vector is taken into consideration, the blocks around the reference block start from the reference block as a representative vector. A block in the same direction as the representative vector generated by the generation unit 706 can be considered to have the same motion as this representative vector.

代表ベクトル生成部706が生成した代表ベクトルは、動きベクトル変換部103及び動きベクトル決定部705へ出力される。動きベクトル変換部103で第1の実施の形態と同様にそのベクトルが変換され、相関値計算部104で相関値が求められる。動きベクトル決定部805は代表ベクトルと変換された動きベクトルに応じて、動きベクトルを決定して出力する。   The representative vector generated by the representative vector generation unit 706 is output to the motion vector conversion unit 103 and the motion vector determination unit 705. The motion vector conversion unit 103 converts the vector in the same manner as in the first embodiment, and the correlation value calculation unit 104 obtains a correlation value. The motion vector determination unit 805 determines and outputs a motion vector according to the representative vector and the converted motion vector.

動きベクトル決定部705は、代表ベクトル生成部706からの代表動きベクトルと、動きベクトル変換部103及び相関値計算部104からの相関値に基づいて動きベクトルを決定する。   The motion vector determination unit 705 determines a motion vector based on the representative motion vector from the representative vector generation unit 706 and the correlation values from the motion vector conversion unit 103 and the correlation value calculation unit 104.

ここで第1の実施の形態と異なるのは、代表ベクトル生成部706からは代表動きベクトルのみが入力され相関値が入力されないことから、動きベクトル決定部705は、相関値計算部104からの相関値と予め決定した閾値とを比較していずれのベクトルを動きベクトルとして用いるかを決定する。閾値と相関値の比較方法については第1の実施の形態とおなじであるので説明を省略する。   Here, the difference from the first embodiment is that only the representative motion vector is input from the representative vector generation unit 706 and no correlation value is input, so that the motion vector determination unit 705 is the correlation from the correlation value calculation unit 104. The value is compared with a predetermined threshold value to determine which vector is used as the motion vector. The method for comparing the threshold value and the correlation value is the same as that in the first embodiment, and thus the description thereof is omitted.

なお、その他の部分の構成については、第1の実施の形態と同様であるため説明を省略する。   The configuration of other parts is the same as that of the first embodiment, and the description thereof is omitted.

以上より、代表ベクトル生成部706を追加することで、画面の動きに特徴のある場合、より高精度に動きベクトルの算出が可能となる。   As described above, by adding the representative vector generation unit 706, it is possible to calculate a motion vector with higher accuracy when there is a feature in the motion of the screen.

なお、上記いずれの実施の形態においても、入力される画像信号をフレーム単位で構成するものとして説明したが、本発明はこれに限定されるものではない。入力される画像信号はフィールド単位で構成しても同様に本発明を適用することは可能である。その際は、動きベクトル推定部が設定する所定の探索範囲は、基準ブロックを含むフィールドの前/後のすくなくとも一つ以上のフィールドが対象となる。   In any of the above embodiments, the input image signal has been described as being configured in units of frames, but the present invention is not limited to this. It is possible to apply the present invention in the same manner even if the input image signal is composed of field units. In that case, the predetermined search range set by the motion vector estimation unit is at least one or more fields before / after the field including the reference block.

なお、上記いずれの実施の形態においても、動きベクトル検出装置として説明を行ったが、本発明は当該実施態様に特定されるものではない。本発明は、上記の機能を電子回路、電気回路として実現可能である。また、当該電子回路を含んだ集積(IC化、半導体チップ化)した集積回路として具現化してもよい。さらに、当該発明をCPU上で動作するソフトウェアとして実現してもより。   In any of the above embodiments, the motion vector detection device has been described. However, the present invention is not limited to this embodiment. The present invention can realize the above functions as an electronic circuit or an electric circuit. Further, it may be embodied as an integrated circuit (integrated IC or semiconductor chip) including the electronic circuit. Furthermore, the present invention may be realized as software operating on a CPU.

ソフトウェアとして実現する場合には、ソフトウェアが実行されるハードウェアの構成例は図9で示される。例えば、入力されたアナログビデオ信号をビデオA/D変換でRGBのデジタル信号に変換し、CPU(DSP)に入力する。CPU(DSP)では、上述の実施の形態で示したような機能構成を備えるソフトウェアを実行することにより、動きベクトルを検出することができる。この際、動きベクトル推定部102や、相関値計算部104等で一時的に保持する必要のある前後のフレームデータや相関値のデータはCPU(DSP)に接続されるメモリに記録される。   When implemented as software, an example of the hardware configuration in which the software is executed is shown in FIG. For example, the input analog video signal is converted into an RGB digital signal by video A / D conversion and input to a CPU (DSP). The CPU (DSP) can detect a motion vector by executing software having a functional configuration as described in the above embodiment. At this time, previous and subsequent frame data and correlation value data that need to be temporarily stored in the motion vector estimation unit 102, the correlation value calculation unit 104, and the like are recorded in a memory connected to a CPU (DSP).

上述のいずれの実施の形態も本発明を説明するために例示したものであり、上述の実施の形態に制限するものではない。   Any of the above-described embodiments is illustrated for explaining the present invention, and is not limited to the above-described embodiment.

本発明は、動きベクトル検出回路および動きベクトル検出装置、およびこれらの機能を組み込んだ集積回路又はソフトウェアとしても実現可能であり、画像をデジタル圧縮するMPEGやH262の符号化技術や、表示装置におけるフレーム/フィールド補間技術に利用できる。   The present invention can also be realized as a motion vector detection circuit and a motion vector detection device, and an integrated circuit or software incorporating these functions. MPEG or H262 encoding technology for digitally compressing an image, or a frame in a display device / Can be used for field interpolation technology.

第1の実施の形態における動きベクトル検出装置の構成例を示す図The figure which shows the structural example of the motion vector detection apparatus in 1st Embodiment. 動きベクトル推定部の構成例を示す図The figure which shows the structural example of a motion vector estimation part 動きベクトルを推定する際の探索範囲を示す図The figure which shows the search range when estimating the motion vector ブロック間で相関値を求める際の差分例を示す図The figure which shows the example of a difference at the time of calculating | requiring a correlation value between blocks ベクトル変換部、相関値計算部で算出する対象ブロック、対象ブロックの関係を示す図The figure which shows the relationship between the target block calculated by a vector conversion part and a correlation value calculation part, and a target block 変換ベクトルを算出する例(複数の対象ブロック)を示す図The figure which shows the example (multiple object block) which calculates a conversion vector 第2の実施の形態における動きベクトル検出装置の構成例を示す図The figure which shows the structural example of the motion vector detection apparatus in 2nd Embodiment. 代表ベクトル生成部の構成例を示すAn example of the configuration of the representative vector generator 本発明をソフトウェア処理するためのハードウェア構成例を示す図The figure which shows the hardware structural example for processing software of this invention

符号の説明Explanation of symbols

100 動きベクトル検出装置
101 YUV変換部
102 動きベクトル推定部
103 動きベクトル変換部
104 相関値計算部
105、705 動きベクトル決定部
201 ブロック分割部
202 基準ブロック決定部
203 候補ブロック決定部
204 候補ブロック相関値計算部
205 推定動きベクトル決定部
706 代表ベクトル生成部
801 切り替え部
802 代表ベクトル算出部
DESCRIPTION OF SYMBOLS 100 Motion vector detection apparatus 101 YUV conversion part 102 Motion vector estimation part 103 Motion vector conversion part 104 Correlation value calculation part 105,705 Motion vector determination part 201 Block division part 202 Reference block determination part 203 Candidate block determination part 204 Candidate block correlation value Calculation unit 205 Estimated motion vector determination unit 706 Representative vector generation unit 801 Switching unit 802 Representative vector calculation unit

Claims (10)

入力される画像信号から動きベクトルを検出する動きベクトル検出回路において、
前記画像信号を構成する表示画の部分領域である第1の基準ブロックに対して、該第1の基準ブロックの動きを推定した第1の推定動きベクトルと、該第1の推定動きベクトルの指し示す第1の推定ブロックと該第1の基準ブロックとの相関の大きさを示す第1の相関値と、を算出する動きベクトル推定部と、
前記第1の推定動きベクトルと略同一方向又は略反対方向に、該推定動きベクトルの大きさを所定の方法で変換した変換ベクトルを算出する動きベクトル変換部と、
前記第1の基準ブロックに対して前記変換ベクトルを適用した場合に指し示される第2の基準ブロックに、前記動きベクトル推定部を適用した際に算出される第2の相関値を取得する相関値計算部と、
前記第1の相関値と前記第2の相関値とに基づいて前記第1の推定動きベクトルと、前記第2の基準ブロックに前記動きベクトル推定部を適用した際に算出される第2の推定動きベクトルと、から前記第2の基準ブロックの動きベクトルを決定する動きベクトル決定部とを備えることを特徴とする動きベクトル検出回路。
In a motion vector detection circuit that detects a motion vector from an input image signal,
With respect to the first reference block is a display image of the partial area configuring the image signal, a first estimated motion vector estimating motion of the first reference block, pointed to the first estimated motion vector a motion vector estimation unit calculating a first correlation value indicating the magnitude of the correlation between the first estimation block and said first reference block, and
A motion vector conversion unit that calculates a conversion vector obtained by converting the size of the estimated motion vector in a predetermined method in a direction substantially the same as or substantially opposite to the first estimated motion vector ;
Correlation value for obtaining a second correlation value calculated when the motion vector estimation unit is applied to a second reference block indicated when the transformation vector is applied to the first reference block A calculation unit;
Based on the first correlation value and the second correlation value, and said first estimated motion vector, a second, which is calculated when applying the motion vector estimation unit in the second reference block A motion vector detection circuit comprising: an estimated motion vector; and a motion vector determination unit that determines a motion vector of the second reference block from the estimated motion vector .
前記動きベクトル変換部は、前記第1の推定動きベクトルと略同一方向又は略反対方向に、前記第1の推定動きベクトルと略同一の大きさを有する変換ベクトルを算出する、
請求項1に記載の動きベクトル検出回路。
The motion vector conversion unit calculates a conversion vector having substantially the same magnitude as the first estimated motion vector in a direction substantially the same as or substantially opposite to the first estimated motion vector ;
The motion vector detection circuit according to claim 1 .
前記動きベクトル変換部は、前記第1の推定動きベクトルに該推定動きベクトルと略同一方向又は略反対方向に所定の大きさを加算した変換ベクトルを算出する、
請求項1に記載の動きベクトル検出回路。
The motion vector conversion unit calculates a conversion vector obtained by adding a predetermined magnitude to the first estimated motion vector in a direction substantially the same as or substantially opposite to the estimated motion vector ;
The motion vector detection circuit according to claim 1 .
前記動きベクトル変換部は、前記第1の推定動きベクトルと略同一又は略反対方向に、前記第1の推定動きベクトルが有する大きさを所定の値で乗算した大きさを有する変換ベクトルを算出する、
請求項1に記載の動きベクトル検出回路。
The motion vector conversion unit calculates a conversion vector having a magnitude obtained by multiplying a magnitude of the first estimated motion vector by a predetermined value in a direction substantially the same as or substantially opposite to the first estimated motion vector. ,
The motion vector detection circuit according to claim 1 .
前記動きベクトル変換部は、一つの前記第1の推定動きベクトルに対して、複数の変換ベクトルを算出する、
請求項1乃至4のいずれかに記載の動きベクトル検出回路。
The motion vector conversion unit calculates a plurality of conversion vectors for one first estimated motion vector .
The motion vector detection circuit according to claim 1 .
前記動きベクトル決定部は、前記第1の相関値が前記第2の相関値より小さい又は等しい際に、前記第1の推定動きベクトルを前記第2の基準ブロックの動きベクトルとして決定する出力する
請求項1に記載の動きベクトル検出回路。
The motion vector determination unit determines and outputs the first estimated motion vector as a motion vector of the second reference block when the first correlation value is smaller than or equal to the second correlation value ;
The motion vector detection circuit according to claim 1 .
前記動きベクトル決定部は、前記第1の相関値が閾値よりも小さい際に、前記第1の推定動きベクトルを前記第2の基準ブロックの動きベクトルとして決定する、
請求項1に記載の動きベクトル検出回路。
The motion vector determination unit determines the first estimated motion vector as a motion vector of the second reference block when the first correlation value is smaller than a threshold ;
The motion vector detection circuit according to claim 1 .
前記動きベクトル決定部は、前記第2の相関値が閾値よりも大きい際に、前記第1の推定動きベクトルを前記第2の基準ブロックの動きベクトルとして決定する、
請求項1に記載の動きベクトル検出回路。
The motion vector determination unit determines the first estimated motion vector as a motion vector of the second reference block when the second correlation value is greater than a threshold ;
The motion vector detection circuit according to claim 1 .
請求項1乃至8のいずれかに記載の動きベクトル検出回路を集積した集積回路。 Integrated circuit including the motion vector detecting circuit according to any one of claims 1 to 8. 請求項1乃至8のいずれかに記載の動きベクトル検出回路を備えた動きベクトル検出装置。 Motion vector detecting device including a motion vector detecting circuit according to any one of claims 1 to 8.
JP2008054417A 2008-03-05 2008-03-05 Motion vector detection circuit, motion vector detection device, and integrated circuit Expired - Fee Related JP4883029B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008054417A JP4883029B2 (en) 2008-03-05 2008-03-05 Motion vector detection circuit, motion vector detection device, and integrated circuit
US12/397,737 US20090225227A1 (en) 2008-03-05 2009-03-04 Motion vector detecting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008054417A JP4883029B2 (en) 2008-03-05 2008-03-05 Motion vector detection circuit, motion vector detection device, and integrated circuit

Publications (2)

Publication Number Publication Date
JP2009212884A JP2009212884A (en) 2009-09-17
JP4883029B2 true JP4883029B2 (en) 2012-02-22

Family

ID=41185598

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008054417A Expired - Fee Related JP4883029B2 (en) 2008-03-05 2008-03-05 Motion vector detection circuit, motion vector detection device, and integrated circuit

Country Status (1)

Country Link
JP (1) JP4883029B2 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1472881B1 (en) * 2002-01-17 2007-08-08 Koninklijke Philips Electronics N.V. Unit for and method of estimating a current motion vector
JP3840129B2 (en) * 2002-03-15 2006-11-01 株式会社東芝 Motion vector detection method and apparatus, interpolation image generation method and apparatus, and image display system
DE602004030993D1 (en) * 2004-04-30 2011-02-24 Panasonic Corp Motion estimation using adaptive spatial refinement vectors

Also Published As

Publication number Publication date
JP2009212884A (en) 2009-09-17

Similar Documents

Publication Publication Date Title
US8724022B2 (en) Frame rate conversion using motion estimation and compensation
TWI455588B (en) Bi-directional, local and global motion estimation based frame rate conversion
KR101135454B1 (en) Temporal interpolation of a pixel on basis of occlusion detection
US9055217B2 (en) Image compositing apparatus, image compositing method and program recording device
US8274602B2 (en) Image processing apparatus and image processing method with redundant frame detection
JP4564564B2 (en) Moving picture reproducing apparatus, moving picture reproducing method, and moving picture reproducing program
US8503531B2 (en) Image processing apparatus and method, recording medium, and program
JP2006041943A (en) Motion vector detecting/compensating device
US20140375843A1 (en) Image processing apparatus, image processing method, and program
WO2013100791A1 (en) Method of and apparatus for scalable frame rate up-conversion
KR20050012766A (en) Unit for and method of estimating a motion vector
US8509303B2 (en) Video descriptor generation device
CN110855958A (en) Image adjusting method and device, electronic equipment and storage medium
KR100855976B1 (en) Frame interpolate device for estimating motion by separating static object and moving object and frame interpolate method using the device
JP2005341580A (en) Method and apparatus for image interpolation system based on motion estimation and compensation
US20120274845A1 (en) Image processing device and method, and program
US8379146B2 (en) Deinterlacing method and apparatus for digital motion picture
US9106926B1 (en) Using double confirmation of motion vectors to determine occluded regions in images
US20090141802A1 (en) Motion vector detecting apparatus, motion vector detecting method, and program
US8305500B2 (en) Method of block-based motion estimation
JP4883029B2 (en) Motion vector detection circuit, motion vector detection device, and integrated circuit
JP5082933B2 (en) Motion vector detection circuit, motion vector detection device, and integrated circuit
US20090225227A1 (en) Motion vector detecting device
US20190005633A1 (en) Image processing apparatus, image processing method, and storage medium
JP4608136B2 (en) Motion vector and parallax vector detection device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101122

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20101214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110906

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111108

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees