JP4241021B2 - Motion vector detection method, motion vector detection device, and image encoding device - Google Patents
Motion vector detection method, motion vector detection device, and image encoding device Download PDFInfo
- Publication number
- JP4241021B2 JP4241021B2 JP2002365409A JP2002365409A JP4241021B2 JP 4241021 B2 JP4241021 B2 JP 4241021B2 JP 2002365409 A JP2002365409 A JP 2002365409A JP 2002365409 A JP2002365409 A JP 2002365409A JP 4241021 B2 JP4241021 B2 JP 4241021B2
- Authority
- JP
- Japan
- Prior art keywords
- vector
- motion vector
- block data
- point
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【0001】
【発明の属する技術分野】
この発明は、映像信号の高能率符号化など際に動きベクトルを検出するための動きベクトル検出方法、動きベクトル検出装置、およびこれらの動きベクトル検出装置を備えた画像符号化装置に関するものである。
【0002】
【従来の技術】
動きベクトル検出処理は、映像信号の高能率符号化などに用いられるフレーム間相関を除去する動き補償予測に用いられる主要な技術である。動き補償予測は、符号化されるべき画像の所定ブロックと類似したブロックを既に符号化された画像の復号画像などの参照画像中から検出して、そのブロック同士のフレーム間差分の低減を利用するというものである。参照画面中から符号化されるべき画像の所定ブロックと類似したブロックを探し出し、そのブロックの相対位置関係を示す動きベクトルを算出する処理が、動きベクトル検出処理である。
【0003】
動きベクトル検出は、通常以下のようなブロックマッチングと呼ばれる方法が用いられる。符号化されるべき画像を所定のブロックサイズに分割し、各ブロックにおける動きを、参照画面中の所定の探索領域から同一サイズのブロックを一定間隔で位置をずらして選択しながら、符号化ブロックとの予測誤差評価値を順次算出、比較していき、最も予測誤差の小さくなる位置を求め、符号化対象ブロックとそのブロックに対する予測誤差最小となる参照ブロックとの相対位置を動きベクトルとする。予測誤差評価値の算出には、差分自乗和や差分絶対値和がよく用いられる。
【0004】
図1は、従来の代表的な動きベクトル検出方法による装置の構成を示す図である。図中、符号化される画像201が入力されるフレームメモリ20、参照画像202が入力されるフレームメモリ21が設けられ、参照画像202が収められるフレームメモリ21にはブロックデータを一定間隔で位置をずらして選択するシフト部22が接続されている。また、位置ずらしの設定のために候補ベクトル設定部23がシフト部22に接続されている。フレームメモリ20及びシフト部22には各ブロックにおける動きベクトルを検出する動きベクトル検出器24が接続されている。
【0005】
次に動作について説明する。図中、符号化される画像201はフレームメモリ20に入力され、動き探索の単位であるブロックデータ203に分割して読み出される。一方、フレームメモリ21は参照画像202を入力され、参照ブロックデータ204を出力する。候補ベクトル設定部23は所定の候補ベクトルを発生させシフト部22に送出する。シフト部22では、候補ベクトル設定部23で設定された候補ベクトルに従って参照ブロックデータ204を空間的にシフトする。動きベクトル検出器24においては、符号化対象ブロックデータ203とシフトされた参照ブロックデータ205とから、上述のブロックマッチング演算が行われて、動きベクトルが出力される。
【0006】
ブロックマッチング演算の最も基本的な一例をとして、予測誤差評価演算を差分絶対値和、所定のブロックサイズをNxN画素、参照画像の探索領域を水平±H、垂直±Vとした場合、1符号化ブロック当りの累算演算回数Cは、
【0007】
【数1】
【0008】
となる。上式で具体的にブロックサイズ16x16画素、参照画像の探索領域を水平、垂直共に±64とすると、129(水平のベクトル検索ブロック数)x129(垂直のベクトル検索ブロック数)x256(1ブロック中の画素データ数)=4260096回もの差分絶対値累算を行う必要がある。映像信号をリアルタイムに処理する場合、この演算量を1ブロック処理期間に行う必要がある。上式からわかるように、より大きな動きにも追従できるように参照画像の探索領域(±H、±V)を広げることは、演算量の増加に結びつく。リアルタイム処理の場合、より高速な演算が必要となる。
【0009】
これを解決するために従来から動きベクトル検出の演算量を少なくする方法が検討されている。そのひとつであるステップ探索法は、まず、最終的に検出する動きベクトルの単位よりも大きい単位(4画素単位、2画素単位等)で、参照画像の探索領域内でブロックデータをずらしながら選択して、最も予測誤差の小さかった参照画像の探索領域内ブロック位置を検出し、次に、その最も予測誤差の小さかった参照画像の探索領域内ブロック位置近傍でより細かい動きベクトルの単位で動きベクトル検出をするものであり、総合的なベクトル探索点数を削減して演算量の低減を図ったものである。また、1ベクトル変位当りの予測誤差評価値の演算において、あらかじめ定められた適当な間隔で画素を間引いて演算をするサブサンプル法がある。演算の削減量を稼ぐには1/4サブサンプル以上を用いることもあり、さらにこれらの方法は組み合わせて使用されることもある。
【0010】
図2は、従来の特許003175914や特開平10-42300記載のサブサンプル法とステップ法によるベクトル探索点の一例を示す。図中、●がサブサンプル後のベクトル探索点であり、○は探索されないベクトル点である。従来の方法では、単純に画素の間引き位置を均等あるいは五の目上にラインオフセットを付けた位置に設定している。図2の例は、五の目上にラインオフセットを付けた1/4間引き位置の例である。図中、符号化画像のブロック(フレームフォーマット)は101、参照画像の探査領域は103、参照画像のブロックは102である。
【0011】
符号化画像及び参照画像が飛び越し走査の画像であるとき、高能率符号化方式の国際標準 MPEG2などでは動き補償予測のブロック単位をフレームフォーマットブロックのみならずフィールドフォーマットの上側に位置するラインで構成されるトップフィールドブロックと下側に位置するラインで構成されるボトムフィールドブロックでも同時に探索を行う。
【0012】
【特許文献1】
特許第3175914号公報
【特許文献2】
特開平10−42300号公報
【0013】
【発明が解決しようとする課題】
しかし、従来の動きベクトル検出方法では、動きベクトル検出時の非常に多くの演算量を削減するためにベクトル探索点を間引いて多段探索を行ったり、予測誤差評価値の演算画素数を間引いたりする場合に、間引き位置を均等あるいは五の目上にラインオフセットを付けた位置に設定していたため、飛び越し走査画像のフィールドフォーマットにおけるベクトル探索位置が単純均等位置となり、動きベクトル検出精度が低下するという問題があった。
【0014】
この発明は上記のような問題点を解決するためになされたもので、飛び越し走査画像を対象とした動き補償予測においても、少ない演算量で精度が高く且つ符号化効率のよい動きベクトルを検出する動きベクトル検出方法、動きベクトル検出装置、およびこれらの動きベクトル検出装置を備えた画像符号化装置を提供することを目的とする。
【0015】
【課題を解決するための手段】
上記課題を解決するため、本発明の動きベクトル検出方法、および動きベクトル検出装置、画像符号化装置では、ライン上のベクトル探索点を水平方向に所定数毎に均等に間引くとともに、ライン毎に水平方向のベクトル探索点位置を前のラインで選択したベクトル探索点位置より上記均等間引きの際の所定数の1/2より小さい値ずつ周期的にずらして配置し、この配置された各ベクトル探索点に基づく候補ブロックデータを上記参照画像における所定領域内の候補ブロックデータから選択し、この選択された各候補ブロックデータ内のベクトル探索点のみを用いて第一のブロックマッチング演算により基準ベクトル点を選択し、この基準ベクトル点を中心とした近隣の上記間引かれたベクトル探索点を範囲とする候補ブロックデータから第二のブロックマッチング演算により動きベクトルを検出することを特徴とする。
【0016】
【発明の実施の形態】
実施の形態1.
図3は、フレームフォーマット、トップフィールド及びボトムフィールドフォーマットの3ブロックに対する動きベクトル検出を行う本実施の形態1の動きベクトル検出器等の構成例である。図3に示すように、本実施の形態1の動きベクトル検出器24は、トップフィールドブロック差分値和を演算してトップフィールドベクトルを求めると共にその最小値を比較したトップフィールドベクトルと、同様にボトムフィールドブロック差分値和を演算してボトムフィールドベクトルを求めると共にその最小値を比較したボトムフィールドベクトルと、トップフィールドベクトルとボトムフィールドベクトルと加算したフレームベクトルの最小値を比較したフレームベクトルとを出力するものである。その他、すなわち動きベクトル検出器24以外は、図1に示す従来の動きベクトル検出器のものと同じであるため、同一符号を付してその説明は省略する。
【0017】
図4には、動きベクトル検出におけるベクトル探索点の選択の本発明による方法を示す図である。
図4において、黒丸●は探索するベクトル点で、白丸○は探索を省かれた点である。また、図中、101は符号化画像のフレームフォーマットブロックデータ、102は参照画像のフレームフォーマットブロックデータ、103は参照画像領域である。さらに、101aは符号化画像のトップフィールドブロックデータ、102aは参照画像のトップフィールドブロックデータ、103aは参照画像領域のトップフィールド、101bは符号化画像のボトムフィールドブロックデータ、102bは参照画像のボトムフィールドブロックデータ、103bは参照画像領域のボトムフィールドである。同図の例は、ベクトル探索点を1/4、すなわち水平方向にベクトル探索点を4つずつ均等に間引いて削減する場合を示している。
そして、本実施の形態1では、1ライン毎の周期的に水平方向のベクトル探索点位置を、ライン毎に1画素ずつずらしてブロックデータを選択するようにしている。
【0018】
次に従来技術の場合と比較しながら動作を説明する。
まず、従来技術のサブサンプル法とステップ法では、図2に示すように、従来の飛び越し走査画像のフィールドフォーマットにおけるベクトル探索点が単純な水平均等間引き位置となってしまう。つまり、図2は図4と同様に、ベクトル探索点を1/4、すなわち水平方向にベクトル探索点を4つずつ均等に間引いて削減する場合であるので、従来技術のサブサンプル法とステップ法では、図2に示すように、1ライン毎の周期的に水平方向のベクトル探索点位置を、ライン毎に2画素ずつずらしてブロックデータを選択している。
【0019】
その結果、図2に示す従来の動きベクトル検出方法によるベクトル探索点では、フレームフォーマットでのベクトル探索点は、探索を削除した点との最大距離が1画素、また、フィールドフォーマットでのベクトル探索点は探索を削除した点との最大距離が2画素となるので、探索されなかったベクトル点と探索されたベクトル点との最大距離は2画素となってしまう。
【0020】
これに対し、本発明の実施の形態1の動きベクトル検出器24では、飛び越し走査の画像を対象としたMPEG2などの高能率符号化方式を採用し、フレーム予測、フィールド予測と呼ばれる符号化画像のブロックデータを、フレームフォーマットのブロックデータ101、このフレームフォーマットのブロックデータ101の上側からの奇数行のみで構成するトップフィールドのブロックデータ101a、及びフレームフォーマットのブロックデータ101の上側からの偶数行のみで構成するボトムフィールドのブロックデータ101bとの3つの符号化画像のブロックデータに対する各々の動きベクトル検出を行う。
【0021】
このとき、実施の形態1の動きベクトル検出器24では、図4に示すように、フレームフォーマットの符号化画像のブロックデータ101と、類似のブロックを検出するにあたり、参照画像領域はフレームフォーマットの101から参照画像のブロックデータをフレームフォーマットで選択する位置を水平方向に4画素おきにし、且つ、次のラインでは4画素×1/2より小さい、すなわち先のラインで選択した位置より1画素ずらした位置にしている。
【0022】
これにより、図4に示すように、フレームフォーマットでのベクトル探索点は、探索を削除した点との最大距離が√2画素、また、フィールドフォーマットでのベクトル探索点は探索を削除した点との最大距離が1画素となり、探索されなかったベクトル点と探索されたベクトル点との最大距離を√2にすることができる。
【0023】
以上のように、実施の形態1によれば、ベクトル探索点を水平方向に均等に間引いて選択し、且つ周期的に水平方向のベクトル探索点位置を次のラインでは先のラインで選択した位置より1画素ずらした位置にするようにしているので、従来の動きベクトル検出方法によるベクトル探索点よりも探索されなかったベクトル点と探索されたベクトル点との最大距離を短縮することができる。
【0024】
その結果、一般的に画像では、近隣する画素ほど相関が強いとされているため、探索されなかったベクトル点と探索されたベクトル点との最大距離は短いということは、真の最適なベクトル点が探索されなかった点に存在したとしても、真の最適なベクトル点に最も近い探索されたベクトル点を示す可能性が高くなり、動き補償予測の効率を改善できる。
【0025】
さらに、ステップ探索を行う場合においても、探索されなかったベクトル点と探索されたベクトル点との最大距離は短いということは、真の最適なベクトル点が探索されなかった点に存在したとしても、真の最適なベクトル点に最も近い探索されたベクトル点を示すため、この探索結果のベクトルを中心に次ステップの探索を行うと真の最適ベクトルを狭い探索範囲から効率的に見つけ出すことができる。
【0026】
したがって、実施の形態1によれば、ベクトル探索点を削減して動きベクトル検出における演算量を削減しても、符号化効率の良い動きベクトルを検出できる動きベクトル検出方法を得ることができる。
【0027】
実施の形態2.
以上の実施の形態1では、ベクトル探索点を水平方向に均等に間引いて選択し、且つ、周期的に水平方向のベクトル探索点位置を次のラインでは先のラインで選択した位置より1画素ずらした位置にするようにしたものであるが、次に予測誤差評価演算を行う場合に上記のベクトル探索点を少なくとも含むように間引くようにした動きベクトル検出方法の実施の形態を示す。
【0028】
つまり、図4において、予測誤差評価演算を行う場合に、演算に供する符号化画像のブロック内画素及び参照画像のブロック内画素をベクトル探索点にあたる黒丸●の画素とする。同図の例では、ブロックデータは8画素x8画素=64画素であるが、予測誤差評価演算時に黒丸●のみの画素とするとブロック当り2画素x8画素=16画素での演算となる。動きベクトル検出のベクトル探索点は実施の形態1と同様に維持した状態で動きベクトル検出にかかる演算量をさらに削減できる。
【0029】
以上のように、実施の形態2によれば、ベクトル探索点を水平方向に均等に間引いて選択し、且つ周期的に水平方向のベクトル探索点位置を次のラインでは先のラインで選択した位置より1画素ずらした位置にするようにし、予測誤差評価演算を行う場合に上記のベクトル探索点を少なくとも含むように間引いて演算するようにしたので、ベクトル探索点の削減と予測誤差評価演算の画素数を減らすことにより動きベクトル検出にかかる演算量を削減し且つ符号化効率の良い動きベクトルを検出できる動きベクトル検出方法を得ることができる。
【0030】
なお、上記実施の形態の説明では、ベクトル探索点を水平方向に均等に間引いて選択し、且つ、周期的に水平方向のベクトル探索点位置を次のラインでは先のラインで選択した位置より1画素ずらすように説明したが、本実施の形態では、これに限らず、1/2画素ずつや、3/2画素ずつなど、水平方向のベクトル探索点位置をライン毎に均等間引きの際の所定数(上記実施の形態1では4)の値の1/2より小さい値ずつずらしてブロックデータを選択すれば、上記と同様の効果が得られる。なお、1/2画素ずつや、3/2画素ずつ等の半画素が出てくる場合には、隣接する画素の平均値を使用すれば問題ない。
【0031】
【発明の効果】
以上のように、この発明によれば、ベクトル探索点を水平方向に均等に間引いて選択し、且つ周期的に水平方向のベクトル探索点位置を次のラインでは先のラインで選択した位置より1画素ずらした位置にすれば、従来の動きベクトル検出方法によるベクトル探索点よりも探索されなかったベクトル点と探索されたベクトル点との最大距離を短縮することができるので、ベクトル探索点を削減して動きベクトル検出のおける演算量を削減しても、符号化効率の良い動きベクトルを検出できる。
【0032】
また、ベクトル探索点を水平方向に均等に間引いて選択し、且つ周期的に水平方向のベクトル探索点位置を次のラインでは先のラインで選択した位置より1画素ずらした位置にしたまま、予測誤差評価演算を行う場合に上記のベクトル探索点を少なくとも含むように間引いて演算するようにしたので、ベクトル探索点の削減と予測誤差評価演算の画素数を減らすことにより動きベクトル検出にかかる演算量を削減し且つ符号化効率の良い動きベクトルを検出できる動きベクトル検出方法を得ることができる。
【図面の簡単な説明】
【図1】 従来の動きベクトル検出器等の構成を示す図。
【図2】 従来のサブサンプル法とステップ法によるベクトル探索点の一例を示す図。
【図3】 本実施の形態1の動きベクトル検出器等の構成例を示す図。
【図4】 本実施の形態1による動きベクトル検出におけるベクトル探索点の選択の一例を示す図。
【符号の説明】
20 フレームメモリ、21 フレームメモリ、22 シフト部、23 候補ベクトル設定部、24 動きベクトル検出器、201 符号化画像、202 参照画像。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a motion vector detection method, a motion vector detection device, and an image encoding device including these motion vector detection devices for detecting a motion vector in high-efficiency encoding of a video signal.
[0002]
[Prior art]
The motion vector detection process is a main technique used for motion compensation prediction that removes the inter-frame correlation used for high-efficiency coding of video signals. In motion compensation prediction, a block similar to a predetermined block of an image to be encoded is detected from a reference image such as a decoded image of an already encoded image, and a reduction in interframe difference between the blocks is used. That's it. The process of finding a block similar to a predetermined block of an image to be encoded from the reference screen and calculating a motion vector indicating the relative positional relationship of the block is a motion vector detection process.
[0003]
For motion vector detection, the following method called block matching is usually used. The image to be encoded is divided into predetermined block sizes, and the motion of each block is selected while shifting the positions of the same size blocks at predetermined intervals from a predetermined search area in the reference screen. The prediction error evaluation values are sequentially calculated and compared, the position where the prediction error is minimized is obtained, and the relative position between the encoding target block and the reference block with the smallest prediction error for the block is used as a motion vector. For the calculation of the prediction error evaluation value, the sum of squared differences or the sum of absolute differences is often used.
[0004]
FIG. 1 is a diagram showing a configuration of an apparatus according to a conventional representative motion vector detection method. In the figure, a
[0005]
Next, the operation will be described. In the figure, an
[0006]
As the most basic example of the block matching calculation, when the prediction error evaluation calculation is the sum of absolute differences, the predetermined block size is N × N pixels, the search area of the reference image is horizontal ± H, and vertical ± V, one encoding The cumulative number of operations C per block is
[0007]
[Expression 1]
[0008]
It becomes. When the block size is 16 × 16 pixels and the reference image search area is ± 64 for both horizontal and vertical in the above formula, 129 (the number of horizontal vector search blocks) × 129 (the number of vertical vector search blocks) × 256 (in one block) (The number of pixel data) = 4260096 times absolute difference accumulation needs to be performed. When processing a video signal in real time, it is necessary to perform this calculation amount in one block processing period. As can be seen from the above equation, expanding the search area (± H, ± V) of the reference image so as to follow a larger movement leads to an increase in the amount of calculation. In the case of real-time processing, a faster calculation is required.
[0009]
In order to solve this problem, methods for reducing the amount of motion vector detection have been studied. The step search method, which is one of them, is first selected while shifting the block data in the reference image search area in units larger than the unit of the motion vector to be finally detected (4 pixel units, 2 pixel units, etc.). Then, the block position in the search area of the reference image having the smallest prediction error is detected, and then the motion vector is detected in the unit of finer motion vectors in the vicinity of the block position in the search area of the reference image having the smallest prediction error. This is intended to reduce the amount of calculation by reducing the total number of vector search points. In addition, there is a sub-sampling method that performs calculation by thinning out pixels at an appropriate predetermined interval in calculating a prediction error evaluation value per vector displacement. A quarter subsample or more may be used to increase the amount of calculation reduction, and these methods may be used in combination.
[0010]
FIG. 2 shows an example of vector search points by the sub-sampling method and the step method described in the conventional patents 003175914 and JP-A-10-42300. In the figure, ● is a vector search point after sub-sampling, and ○ is a vector point that is not searched. In the conventional method, the thinning-out position of pixels is simply set to a position where a line offset is added evenly or over the fifth. The example of FIG. 2 is an example of a 1/4 thinning position in which a line offset is added on the fifth. In the drawing, the block (frame format) of the encoded image is 101, the search area of the reference image is 103, and the block of the reference image is 102.
[0011]
When the encoded image and the reference image are interlaced images, the high-efficiency encoding international standard MPEG2 etc. is composed of lines that are located above the field format as well as the frame format block for the block unit of motion compensation prediction. The search is simultaneously performed in the bottom field block composed of the top field block and the lower line.
[0012]
[Patent Document 1]
Japanese Patent No. 3175914 [Patent Document 2]
Japanese Patent Laid-Open No. 10-42300
[Problems to be solved by the invention]
However, in the conventional motion vector detection method, in order to reduce a large amount of calculation at the time of motion vector detection, a vector search point is thinned out to perform a multistage search, or the number of calculation pixels of a prediction error evaluation value is thinned out. In this case, since the thinning position is set to be equal or a position with a line offset added to the fifth, the vector search position in the field format of the interlaced scanning image becomes a simple uniform position, and the motion vector detection accuracy decreases. was there.
[0014]
The present invention has been made to solve the above-described problems, and detects motion vectors with high accuracy and high coding efficiency with a small amount of calculation even in motion compensation prediction for interlaced scanning images. It is an object of the present invention to provide a motion vector detection method, a motion vector detection device, and an image encoding device including these motion vector detection devices.
[0015]
[Means for Solving the Problems]
To solve the above problem, the motion vector detecting method of the present invention, and the motion vector detecting device, an image encoding device, evenly rather with thinning a prescribed number of each vector search point on the line in the horizontal direction, each line The vector search point position in the horizontal direction is periodically shifted from the vector search point position selected on the previous line by a value smaller than a predetermined number ½ at the time of equal thinning, and each of the arranged vectors Candidate block data based on search points is selected from candidate block data in a predetermined region in the reference image, and a reference vector point is obtained by a first block matching operation using only vector search points in each selected candidate block data. From the candidate block data with the vector search point in the neighborhood centered on this reference vector point as the range And detecting a motion vector by two block matching operation.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1 FIG.
FIG. 3 is a configuration example of a motion vector detector and the like according to the first embodiment that perform motion vector detection for three blocks of a frame format, a top field format, and a bottom field format. As shown in FIG. 3, the
[0017]
FIG. 4 is a diagram showing a method according to the present invention for selecting a vector search point in motion vector detection.
In FIG. 4, black circles ● are vector points to be searched, and white circles ○ are points from which searching is omitted. In the figure, 101 is frame format block data of an encoded image, 102 is frame format block data of a reference image, and 103 is a reference image area. Furthermore, 101a is the top field block data of the encoded image, 102a is the top field block data of the reference image, 103a is the top field of the reference image area, 101b is the bottom field block data of the encoded image, and 102b is the bottom field of the reference image Block data 103b is a bottom field of the reference image area. The example of FIG. 4 shows a case where the number of vector search points is reduced by 1/4, that is, four vector search points are evenly thinned out in the horizontal direction.
In the first embodiment, block data is selected by shifting the vector search point position in the horizontal direction periodically for each line by one pixel for each line.
[0018]
Next, the operation will be described in comparison with the case of the prior art.
First, in the conventional sub-sampling method and step method, as shown in FIG. 2, the vector search point in the field format of the conventional interlaced scanning image becomes a simple horizontal uniform thinning position. That is, FIG. 2 is similar to FIG. 4, 1/4 vector search points, that is, the case to reduce the
[0019]
As a result, at the vector search point by the conventional motion vector detection method shown in FIG. 2, the vector search point in the frame format has a maximum distance of 1 pixel from the point from which the search is deleted, and the vector search point in the field format Since the maximum distance from the point from which the search is deleted is 2 pixels, the maximum distance between the unsearched vector point and the searched vector point is 2 pixels.
[0020]
On the other hand, the
[0021]
At this time, in the
[0022]
Accordingly, as shown in FIG. 4, the vector search point in the frame format has a maximum distance of √2 pixels from the point where the search is deleted, and the vector search point in the field format is the point where the search is deleted. The maximum distance is one pixel, and the maximum distance between the unsearched vector point and the searched vector point can be √2.
[0023]
As described above, according to the first embodiment, the vector search points are selected by thinning them out evenly in the horizontal direction, and the position of the vector search point in the horizontal direction is periodically selected in the previous line in the next line. Since the position is further shifted by one pixel, the maximum distance between the searched vector point and the searched vector point can be shortened compared to the vector search point by the conventional motion vector detection method.
[0024]
As a result, generally, in an image, it is said that the closer the pixel is, the stronger the correlation is. Therefore, the maximum distance between the unsearched vector point and the searched vector point is short. Even if it is present at a point that has not been searched, there is a high possibility of indicating the searched vector point closest to the true optimal vector point, and the efficiency of motion compensation prediction can be improved.
[0025]
Furthermore, even when performing a step search, the maximum distance between a vector point that has not been searched and a vector point that has been searched is short, even if a true optimal vector point has not been searched, In order to indicate the searched vector point closest to the true optimum vector point, if the next step search is performed centering on the vector of the search result, the true optimum vector can be found efficiently from a narrow search range.
[0026]
Therefore, according to the first embodiment, even if reducing the amount of computation definitive motion vector detection to reduce the vector search point, it is possible to obtain a motion vector detecting method that can detect a good motion vector coding efficiency.
[0027]
In the first embodiment, the vector search points are selected by thinning them out evenly in the horizontal direction, and the horizontal vector search point position is periodically shifted by one pixel from the position selected in the previous line in the next line. An embodiment of a motion vector detection method in which the above-described vector search points are thinned out when the prediction error evaluation calculation is performed next is shown.
[0028]
That is, in FIG. 4, when the prediction error evaluation calculation is performed, the pixel in the block of the encoded image and the pixel in the block of the reference image that are used for the calculation are pixels of black circles ● corresponding to the vector search points. In the example of the figure, although the block data is 8 pixels x8 pixels = 64 pixels, the computation of the time the prediction error evaluation operation black circle ● in only the pixel and a result block per 2 pixel x8 pixels = 16 pixels. The vector search points for motion vector detection are maintained in the same manner as in the first embodiment, and the amount of calculation for motion vector detection can be further reduced.
[0029]
As described above, according to the second embodiment, vector search points are selected by thinning them out evenly in the horizontal direction, and the position of the vector search point in the horizontal direction is selected on the next line on the next line periodically. Since the position is shifted by one pixel and the calculation is performed with thinning out so as to include at least the above vector search points when performing the prediction error evaluation calculation, the pixels of the vector search points are reduced and the prediction error evaluation calculation is performed. By reducing the number, it is possible to obtain a motion vector detection method capable of reducing the amount of calculation required for motion vector detection and detecting a motion vector with good coding efficiency.
[0030]
In the description of the above embodiment, vector search points are selected by thinning them out evenly in the horizontal direction, and the vector search point position in the horizontal direction is periodically set to 1 in the next line from the position selected in the previous line. In the present embodiment, the pixel search has been described so that the pixels are shifted. However, the present invention is not limited to this, and the horizontal vector search point position, such as every 1/2 pixel or every 3/2 pixel, is predetermined when equal thinning is performed for each line. The same effect as described above can be obtained by selecting block data by shifting by a value smaller than ½ of the number (4 in the first embodiment). When half pixels such as 1/2 pixels or 3/2 pixels appear, there is no problem if the average value of adjacent pixels is used.
[0031]
【The invention's effect】
As described above, according to the present invention, vector search points are selected by thinning them out evenly in the horizontal direction, and the vector search point position in the horizontal direction is periodically set to 1 in the next line from the position selected in the previous line. If the position is shifted by a pixel, the maximum distance between the vector point that was not searched and the searched vector point can be shortened compared to the vector search point by the conventional motion vector detection method. Thus, even if the amount of calculation in motion vector detection is reduced, a motion vector with good coding efficiency can be detected.
[0032]
In addition, the vector search points are selected by thinning them out evenly in the horizontal direction, and the position of the vector search point in the horizontal direction is periodically shifted from the position selected in the previous line by one pixel in the next line. since as computed by thinning so as to include at least a vector search points above when performing error estimation calculation, the calculation amount according to the motion vector detection by reducing the number of pixel prediction error evaluation operation and reduction of vector search point It is possible to obtain a motion vector detection method that can detect motion vectors with reduced coding efficiency and good coding efficiency.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a conventional motion vector detector and the like.
FIG. 2 is a diagram showing an example of vector search points by a conventional sub-sampling method and a step method.
FIG. 3 is a diagram illustrating a configuration example of a motion vector detector and the like according to the first embodiment.
FIG. 4 is a diagram showing an example of selection of a vector search point in motion vector detection according to the first embodiment.
[Explanation of symbols]
20 frame memory, 21 frame memory, 22 shift unit, 23 candidate vector setting unit, 24 motion vector detector, 201 encoded image, 202 reference image.
Claims (3)
ライン上のベクトル探索点を水平方向に所定数毎に均等に間引くとともに、ライン毎に水平方向のベクトル探索点位置を前のラインで選択したベクトル探索点位置より上記均等間引きの際の所定数の1/2より小さい値ずつ周期的にずらして配置し、
この配置された各ベクトル探索点に基づく候補ブロックデータを上記参照画像における所定領域内の候補ブロックデータから選択し、
この選択された各候補ブロックデータ内のベクトル探索点のみを用いて第一のブロックマッチング演算により基準ベクトル点を選択し、
この基準ベクトル点を中心とした近隣の上記間引かれたベクトル探索点を範囲とする候補ブロックデータから第二のブロックマッチング演算により動きベクトルを検出する
ことを特徴とする動きベクトル検出方法。In a motion vector detection method for detecting a motion vector by block matching calculation from predetermined block data in an image to be encoded and candidate block data in a predetermined region in a reference image in which a motion vector is to be detected,
With evenly thinning rather every predetermined number of vector search points in the horizontal direction on the line, a predetermined time of the uniform thinning than vector search point position selected in the previous line vector search point position in the horizontal direction for each line Periodically shifted by a value smaller than half of the number ,
Select candidate block data based on the arranged vector search points from candidate block data in a predetermined area in the reference image ,
A reference vector point is selected by a first block matching operation using only vector search points in each selected candidate block data,
A motion vector detection method comprising: detecting a motion vector by a second block matching operation from candidate block data having a range of the above-described thinned vector search points centered on the reference vector point .
ライン上のベクトル探索点を水平方向に所定数毎に均等に間引くとともに、ライン毎に水平方向のベクトル探索点位置を前のラインで選択したベクトル探索点位置より上記均等間引きの際の所定数の1/2より小さい値ずつ周期的にずらして配置し、
この配置された各ベクトル探索点に基づく候補ブロックデータを上記参照画像における所定領域内の候補ブロックデータから選択し、
この選択された各候補ブロックデータ内のベクトル探索点のみを用いて第一のブロックマッチング演算により基準ベクトル点を選択し、
この基準ベクトル点を中心とした近隣の上記間引かれたベクトル探索点を範囲とする候補ブロックデータから第二のブロックマッチング演算により動きベクトルを検出する
ことを特徴とする動きベクトル検出装置。In a motion vector detection device for detecting a motion vector by block matching calculation from predetermined block data in an image to be encoded and candidate block data in a predetermined region in a reference image in which a motion vector is to be detected,
With evenly thinning rather every predetermined number of vector search points in the horizontal direction on the line, a predetermined time of the uniform thinning than vector search point position selected in the previous line vector search point position in the horizontal direction for each line Periodically shifted by a value smaller than half of the number ,
Select candidate block data based on the arranged vector search points from candidate block data in a predetermined area in the reference image ,
A reference vector point is selected by a first block matching operation using only vector search points in each selected candidate block data,
A motion vector detecting apparatus, wherein a motion vector is detected by a second block matching operation from candidate block data having the vector search point in the vicinity centered on the reference vector point as a range .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002365409A JP4241021B2 (en) | 2002-12-17 | 2002-12-17 | Motion vector detection method, motion vector detection device, and image encoding device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002365409A JP4241021B2 (en) | 2002-12-17 | 2002-12-17 | Motion vector detection method, motion vector detection device, and image encoding device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004200894A JP2004200894A (en) | 2004-07-15 |
JP4241021B2 true JP4241021B2 (en) | 2009-03-18 |
Family
ID=32762969
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002365409A Expired - Fee Related JP4241021B2 (en) | 2002-12-17 | 2002-12-17 | Motion vector detection method, motion vector detection device, and image encoding device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4241021B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5353719B2 (en) * | 2010-01-08 | 2013-11-27 | 富士通株式会社 | Moving picture coding apparatus, moving picture coding method, and moving picture coding program |
JP6154643B2 (en) | 2013-03-29 | 2017-06-28 | Kddi株式会社 | Moving picture coding apparatus, depth intra prediction method and program for moving picture coding apparatus, moving picture decoding apparatus, depth intra prediction method and program for moving picture decoding apparatus |
-
2002
- 2002-12-17 JP JP2002365409A patent/JP4241021B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004200894A (en) | 2004-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7012649B2 (en) | Image processing apparatus and method, program, and recording medium | |
US7362379B2 (en) | Image processing apparatus and method, recording medium, and program | |
US8130835B2 (en) | Method and apparatus for generating motion vector in hierarchical motion estimation | |
EP0896300A2 (en) | Device and method for motion vector detection | |
JPH10336666A (en) | Motion vector detector | |
US20050180506A1 (en) | Unit for and method of estimating a current motion vector | |
JP4626158B2 (en) | Motion vector detection apparatus, motion vector detection method, and computer program | |
JP4241021B2 (en) | Motion vector detection method, motion vector detection device, and image encoding device | |
JP2005167976A (en) | Motion vector detecting device and motion vector detecting program | |
JP3175914B2 (en) | Image encoding method and image encoding device | |
US20040247032A1 (en) | Motion vector detection device and motion vector detection method | |
JP4250598B2 (en) | Motion compensation IP conversion processing apparatus and motion compensation IP conversion processing method | |
JP3276073B2 (en) | Motion vector detection device and motion vector detection method | |
JPH06205403A (en) | Movement vector detecting method using integral projection | |
JP4035903B2 (en) | Motion vector detection method and apparatus | |
JP3528115B2 (en) | Motion prediction vector detection circuit | |
JPH1042300A (en) | Motion vector detection device | |
KR20010034374A (en) | Device and method for detecting moving vector | |
JP2000165883A (en) | Motion vector detector | |
JPH06225289A (en) | Video signal coder | |
JPH08172632A (en) | Image processing unit | |
JP2001169296A (en) | Method for estimating motion of digital input video signal | |
JPH09162747A (en) | Device and method for detecting motion vector | |
JP5147566B2 (en) | Motion vector detection apparatus and method | |
KR100205146B1 (en) | Motion estimation method in digital video encoder |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040709 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051026 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071016 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081209 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081222 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |