JPH11239354A - Motion vector detector - Google Patents
Motion vector detectorInfo
- Publication number
- JPH11239354A JPH11239354A JP10040199A JP4019998A JPH11239354A JP H11239354 A JPH11239354 A JP H11239354A JP 10040199 A JP10040199 A JP 10040199A JP 4019998 A JP4019998 A JP 4019998A JP H11239354 A JPH11239354 A JP H11239354A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- mode
- search
- evaluation value
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Of Color Television Signals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】この発明は、動画像を圧縮符
号化する場合に用いられる動き補償予測付きフレーム間
予測を行うための動きベクトル検出器に関するものであ
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a motion vector detector for performing inter-frame prediction with motion compensation prediction, which is used when compressing and encoding a moving image.
【０００２】[0002]
【従来の技術】動画像を圧縮符号化する方法の一例とし
て、ＩＳＯ／ＩＥＣにおいて国際標準化されたＭＰＥＧ
と呼ばれる方式がある。この方式は、動き補償予測付き
フレーム間予測と離散コサイン変換（ＤＣＴ）の２つの
技術が中核となっており、動き補償予測を行うための動
きベクトルの検出方式は圧縮された画像信号の画質に大
きく影響するものである。2. Description of the Related Art As an example of a method of compressing and encoding a moving image, MPEG standardized internationally by ISO / IEC
There is a method called. In this method, two technologies, inter-frame prediction with motion compensation prediction and discrete cosine transform (DCT), are at the core, and the method of detecting a motion vector for performing motion compensation prediction depends on the image quality of a compressed image signal. It has a significant effect.
【０００３】図８はＭＰＥＧ標準に準拠する従来の画像
符号化装置の一例である。図において、１は離散コサイ
ン変換器（ＤＣＴ）、２は量子化器（Ｑ）、３は可変長
符号化器（ＶＬＣ）、５は出力バッファ（Ｂｕｆｆｅ
ｒ）、６は逆量子化器（Ｑ-1）、７は逆離散コサイン変
換器（ＩＤＣＴ）、８はフレームメモリ（ＦＭ）、９は
動き補償器（ＭＣ）、１０は動きベクトル探索器（Ｍ
Ｅ）、１１は加算器、１２は減算器である。FIG. 8 shows an example of a conventional image coding apparatus conforming to the MPEG standard. In the figure, 1 is a discrete cosine transformer (DCT), 2 is a quantizer (Q), 3 is a variable length encoder (VLC), and 5 is an output buffer (Buffe).
r), 6 is an inverse quantizer (Q -1 ), 7 is an inverse discrete cosine transformer (IDCT), 8 is a frame memory (FM), 9 is a motion compensator (MC), and 10 is a motion vector searcher ( M
E) and 11 are adders and 12 is a subtractor.
【０００４】次に動作について説明する。符号化装置に
はデジタル化された輝度信号（Ｙ）と２つの色差信号
（ＣＢ、ＣＲ）が入力される。減算器１２はこの入力信
号１０１と後述する予測信号１１３との間で差分をと
り、予測誤差信号１０２を出力する。離散コサイン変換
器１は予測誤差信号１０２に対して離散コサイン変換を
施し、変換係数１０３を出力する。量子化器２は変換係
数１０３の量子化を行い、量子化係数１０４を出力す
る。可変長符号化器３は量子化係数１０４や後述する動
きベクトル１１２などを可変長符号化し多重化を行う。
多重化されたストリーム１０６は出力バッファ５に一度
蓄積された後、伝送路や蓄積メディア等に出力される。Next, the operation will be described. The encoding device receives a digitized luminance signal (Y) and two color difference signals (CB, CR). The subtracter 12 calculates a difference between the input signal 101 and a prediction signal 113 described later, and outputs a prediction error signal 102. The discrete cosine transformer 1 performs a discrete cosine transform on the prediction error signal 102, and outputs a transform coefficient 103. The quantizer 2 quantizes the transform coefficient 103 and outputs a quantized coefficient 104. The variable-length encoder 3 performs variable-length encoding on the quantization coefficient 104 and a motion vector 112 described later and performs multiplexing.
The multiplexed stream 106 is once stored in the output buffer 5 and then output to a transmission path, a storage medium, or the like.
【０００５】一方、逆量子化器６は量子化係数１０４に
対して逆量子化を施し、逆量子化係数１０８を出力す
る。逆離散コサイン変換器７は逆量子化係数１０８に対
して逆離散コサイン変換を行い、復号予測誤差信号１０
９を出力する。加算器１１は復号予測誤差信号１０９と
予測信号１１３との加算処理を行い、復号画像信号１１
０を出力する。フレームメモリ８は復号画像信号１１０
を記憶する。動き補償器９は、後述する動きベクトル探
索器１０から出力される動きベクトル１１２に応じて、
フレームメモリ８に記憶されている復号画像信号１１１
を読み出して予測信号１１３を出力する。On the other hand, the inverse quantizer 6 performs inverse quantization on the quantization coefficient 104 and outputs an inverse quantization coefficient 108. The inverse discrete cosine transformer 7 performs an inverse discrete cosine transform on the inverse quantization coefficient 108 to obtain a decoded prediction error signal 10.
9 is output. The adder 11 performs an addition process on the decoded prediction error signal 109 and the prediction signal 113, and outputs the decoded image signal 11
Outputs 0. The frame memory 8 stores the decoded image signal 110
Is stored. The motion compensator 9 responds to a motion vector 112 output from a motion vector searcher 10 described later,
The decoded image signal 111 stored in the frame memory 8
And outputs a prediction signal 113.
【０００６】動きベクトル探索器１０は、入力画像信号
１０１の輝度信号（Ｙ）と参照画像信号となる復号画像
信号１１１とを用い、あらかじめ設定された探索範囲内
の動きベクトルの各々に対して評価値を求め、評価値が
最小となる動きベクトルを選択して出力する。評価値は
いろいろな方法で計算することができるが、例えばマク
ロブロックに含まれる輝度信号２５６画素に対して、入
力画像信号１０１と復号画像信号１１１を動きベクトル
の大きさ分だけ動かしたものとの間で二乗差分（誤差電
力とも呼ばれる）の総和を求め、この二乗差分和が最小
となるベクトルをそのマクロブロックの動きベクトルと
する、という方法がある。[0006] The motion vector searcher 10 evaluates each of the motion vectors within a predetermined search range using the luminance signal (Y) of the input image signal 101 and the decoded image signal 111 serving as a reference image signal. The motion vector having the smallest evaluation value is selected and output. The evaluation value can be calculated by various methods. For example, with respect to the luminance signal of 256 pixels included in the macro block, the input image signal 101 and the decoded image signal 111 are moved by the size of the motion vector. There is a method in which a sum of square differences (also called error power) is calculated between the two, and a vector having the minimum sum of the square differences is set as a motion vector of the macroblock.
【０００７】[0007]
【発明が解決しようとする課題】従来の画像符号化装置
の動きベクトル探索器およびその方式は、評価値を得る
ための評価関数の入力値として輝度信号のみを用いてい
たため、輝度信号には変化が無く色差信号のみに変化が
生じるような映像信号に対しては正しいベクトルが探索
できないという問題点があった。The conventional motion vector searcher and its method of the image coding apparatus use only a luminance signal as an input value of an evaluation function for obtaining an evaluation value. However, there is a problem that a correct vector cannot be searched for a video signal in which only the color difference signal changes due to no color difference.
【０００８】この問題点に対処するために、例えば特開
平５−２１９５２９号公報においては輝度信号だけでな
く、２つの色差信号に対しても動きベクトルの探索を行
うことによって正しい動きベクトルが得られるように構
成されているが、その分動きベクトル探索のための演算
量が増大してしまう。特にリアルタイム処理が必要とさ
れる通信や放送を用途とする場合には、演算量の増大は
ただちに回路規模の増大につながり、装置が大型化して
しまうという問題点があった。同様の問題点は動きベク
トルの探索範囲を広げようとした場合にも生じ、動きベ
クトルの探索範囲を２倍に増やした場合、演算量も２倍
に増えるため動きベクトル探索器の回路規模も２倍に増
えてしまうという問題点があった。To cope with this problem, for example, in Japanese Patent Laid-Open Publication No. Hei 5-219529, a correct motion vector can be obtained by searching for a motion vector not only for a luminance signal but also for two color difference signals. However, the amount of calculation for searching for a motion vector increases accordingly. In particular, in the case of communication or broadcasting that requires real-time processing, an increase in the amount of computation immediately leads to an increase in the circuit scale, and there is a problem in that the device becomes larger. A similar problem also occurs when the search range of the motion vector is expanded. When the search range of the motion vector is doubled, the amount of calculation is also doubled. There was a problem that it increased twice.
【０００９】この発明は上記のような問題点を解決する
ためになされたもので、演算量及び回路規模を増やすこ
となく、かつ、精度の高い動きベクトルを得ることがで
きる動きベクトル検出器を提供することを目的とする。The present invention has been made to solve the above problems, and provides a motion vector detector capable of obtaining a highly accurate motion vector without increasing the amount of computation and the circuit scale. The purpose is to do.
【００１０】[0010]
【課題を解決するための手段】この発明の請求項１に係
る動きベクトル検出器は、入力画像信号と参照画像信号
との間でブロックマッチング方式により動きベクトルを
検出する動きベクトル検出器において、複数の探索モー
ドを有し、いずれかに決定された探索モードに基づいて
動きベクトルを探索する動きベクトル探索器と、既に検
出された動きベクトルを記憶する動きベクトルメモリ
と、この動きベクトルメモリに記憶されている動きベク
トルから統計量を求めて符号化対象としているマクロブ
ロックの動きベクトルを推定する動きベクトル推定器
と、この推定された動きベクトルの大きさに基づいて上
記探索モードを決定する動きベクトル探索モード決定器
とを備えたものである。According to a first aspect of the present invention, there is provided a motion vector detector for detecting a motion vector between an input image signal and a reference image signal by a block matching method. A motion vector searcher that searches for a motion vector based on one of the search modes determined, a motion vector memory that stores a motion vector that has already been detected, and a motion vector memory that is stored in the motion vector memory. A motion vector estimator that estimates a motion vector of a macroblock to be encoded by obtaining a statistic from a motion vector that is being encoded, and a motion vector search that determines the search mode based on the magnitude of the estimated motion vector. And a mode determiner.
【００１１】この発明の請求項２に係る動きベクトル検
出器は、上記動きベクトルメモリに記憶されている動き
ベクトルから平均値と分散を求め、符号化対象としてい
る画像シーケンスの動きの大きさ及び複雑さを推定する
動きベクトル推定器と、上記動きベクトル推定器からの
推定結果に基づき、動きが小さいか単純なときには狭い
範囲を精度高く、動きが大きいか複雑なときには広い範
囲を粗い精度で動きベクトルを探索できるように上記探
索モードを決定する動きベクトル探索モード決定器とを
備えたものである。A motion vector detector according to a second aspect of the present invention obtains an average value and a variance from the motion vectors stored in the motion vector memory, and calculates the magnitude and complexity of the motion of the image sequence to be encoded. A motion vector estimator for estimating the motion vector and a motion vector estimator based on the estimation result from the motion vector estimator. And a motion vector search mode determiner for determining the search mode so that the search can be performed.
【００１２】この発明の請求項３に係る動きベクトル検
出器は、上記動きベクトルメモリに記憶されている動き
ベクトルから、隣接しているマクロブロックに対して検
出された動きベクトルを用いて、符号化対象としている
マクロブロックの動きベクトルを推定する動きベクトル
推定器と、上記動きベクトル推定器からの推定結果に基
づき、推定された動きベクトルの近傍は精度高く、その
周囲は粗い精度で動きベクトルを探索できるように上記
探索モードを決定する動きベクトル探索モード決定器と
を備えたものである。According to a third aspect of the present invention, there is provided a motion vector detector which performs coding using a motion vector detected for an adjacent macroblock from a motion vector stored in the motion vector memory. Based on the motion vector estimator for estimating the motion vector of the target macroblock and the estimation result from the motion vector estimator, the vicinity of the estimated motion vector is searched with high accuracy, and the surrounding area is searched with coarse accuracy. And a motion vector search mode determiner for determining the search mode so that the search mode can be determined.
【００１３】この発明の請求項４に係る動きベクトル検
出器は、上記探索モードとして、輝度信号のみを使用し
て評価値を計算するモード、色差信号のみを使用して評
価値を計算するモード、輝度信号と色差信号双方を使用
して評価値を計算するモードを有し、上記動きベクトル
探索モード決定器からの決定情報に基づいて上記モード
のいずれかを選択し、この選択したモードに基づいて動
きベクトルを探索する動きベクトル探索器を備えたもの
である。The motion vector detector according to a fourth aspect of the present invention includes, as the search mode, a mode for calculating an evaluation value using only a luminance signal, a mode for calculating an evaluation value using only a chrominance signal, It has a mode for calculating an evaluation value using both the luminance signal and the color difference signal, and selects one of the modes based on the determination information from the motion vector search mode determiner, based on the selected mode. It has a motion vector searcher for searching for a motion vector.
【００１４】この発明の請求項５に係る動きベクトル検
出器は、上記探索モードとして、符号化対象のマクロブ
ロック内の全ての画素を使用して評価値を計算するモー
ド、水平方向に２：１サブサンプリングを行い半分の個
数の画素を使用して評価値を計算するモード、水平方向
と垂直方向ともに２：１サブサンプリングを行い４分の
１の個数の画素を使用して評価値を計算するモードを有
し、上記動きベクトル探索モード決定器からの決定情報
に基づいて上記モードのいずれかを選択し、この選択し
たモードに基づいて動きベクトルを探索する動きベクト
ル探索器を備えたものである。In the motion vector detector according to a fifth aspect of the present invention, as the search mode, a mode in which an evaluation value is calculated using all pixels in a macroblock to be coded, 2: 1 in the horizontal direction A mode in which subsampling is performed and an evaluation value is calculated using half the number of pixels. In the horizontal and vertical directions, 2: 1 subsampling is performed and an evaluation value is calculated using a quarter number of pixels. A motion vector searcher that has a mode, selects one of the modes based on the determination information from the motion vector search mode determiner, and searches for a motion vector based on the selected mode. .
【００１５】この発明の請求項６に係る動きベクトル検
出器は、上記探索モードとして、探索範囲対象内の全て
のベクトルに対して半画素精度で評価値の計算を行うモ
ード、最初に整数画素精度で評価値の計算を行い次に半
画素精度で評価値の計算を行う２段階探索を行うモー
ド、既に符号化されたマクロブロックのベクトルの近傍
に対しては細かい精度でベクトルの探索を行いその周辺
部に対しては粗い精度でベクトルの探索を行うモードを
有し、上記動きベクトル探索モード決定器からの決定情
報に基づいて上記モードのいずれかを選択し、この選択
したモードに基づいて動きベクトルを探索する動きベク
トル探索器を備えたものである。According to a sixth aspect of the present invention, in the motion vector detector, the search mode is a mode in which evaluation values are calculated with half-pixel accuracy for all vectors within the search range object. In this mode, a two-step search is performed in which the evaluation value is calculated and then the evaluation value is calculated with half-pixel accuracy. In the vicinity of the already coded macroblock vector, the vector search is performed with fine accuracy. The peripheral part has a mode in which a vector is searched with coarse accuracy, and any one of the modes is selected based on the determination information from the motion vector search mode determiner, and a motion is determined based on the selected mode. It has a motion vector searcher for searching for a vector.
【００１６】この発明の請求項７に係る動きベクトル検
出器は、上記探索モードとして、輝度信号のみを使用し
て評価値を計算するモード、色差信号のみを使用して評
価値を計算するモード、輝度信号と色差信号双方を使用
して評価値を計算するモード、符号化対象のマクロブロ
ック内の全ての画素を使用して評価値を計算するモー
ド、水平方向に２：１サブサンプリングを行い半分の個
数の画素を使用して評価値を計算するモード、水平方向
と垂直方向ともに２：１サブサンプリングを行い４分の
１の個数の画素を使用して評価値を計算するモード、探
索範囲対象内の全てのベクトルに対して半画素精度で評
価値の計算を行うモード、最初に整数画素精度で評価値
の計算を行い次に半画素精度で評価値の計算を行う２段
階探索を行うモード、既に符号化されたマクロブロック
のベクトルの近傍に対しては細かい精度でベクトルの探
索を行いその周辺部に対しては粗い精度でベクトルの探
索を行うモード、のいくつかのモードを組み合わせて有
する動きベクトル探索器を備えたものである。The motion vector detector according to a seventh aspect of the present invention includes, as the search mode, a mode for calculating an evaluation value using only a luminance signal, a mode for calculating an evaluation value using only a chrominance signal, A mode in which the evaluation value is calculated using both the luminance signal and the color difference signal, a mode in which the evaluation value is calculated using all the pixels in the macroblock to be coded, and a 2: 1 sub-sampling in the horizontal direction and half Mode in which the evaluation value is calculated using the number of pixels, mode in which the evaluation value is calculated using the quarter number of pixels by performing 2: 1 sub-sampling in both the horizontal direction and the vertical direction, Mode in which the evaluation value is calculated with half-pixel accuracy for all the vectors in, a two-step search in which the evaluation value is calculated first with integer pixel accuracy, and then the evaluation value is calculated with half-pixel accuracy A motion that combines several modes, that is, a mode in which a vector search is performed with fine precision in the vicinity of a vector of an already coded macroblock and a vector search is performed with coarse precision in the vicinity thereof. It has a vector searcher.
【００１７】[0017]
【発明の実施の形態】実施の形態１．図１はこの発明の
実施の形態１の画像符号化装置の構成を示す構成図であ
る。図において、１３は過去に検出された動きベクトル
の値を記憶しておく動きベクトルメモリ（ＭＶＭ）、１
４は動きベクトルメモリ１３に記憶されている動きベク
トルから統計量を求めて符号化対象としているマクロブ
ロックの動きベクトルを推定する動きベクトル推定器
（Ｅｓｔｉｍａｔｅ）、１５は動きベクトル推定器１４
により推定された動きベクトルの大きさに基づいて動き
ベクトルの探索モードを決定する動きベクトル探索モー
ド決定器（Ｓｅｌｅｃｔ）、１６は動きベクトル探索モ
ード決定器１５により決定された探索モードに基づいて
動きベクトルを探索する動きベクトル探索器（ＭＥ）で
あり、他の部分は従来例と同様の構成をとる。DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiment 1 FIG. 1 is a configuration diagram showing a configuration of an image encoding device according to Embodiment 1 of the present invention. In the figure, reference numeral 13 denotes a motion vector memory (MVM) for storing values of motion vectors detected in the past,
Reference numeral 4 denotes a motion vector estimator (Estimate) for obtaining a statistic from the motion vector stored in the motion vector memory 13 and estimating a motion vector of a macroblock to be encoded. Reference numeral 15 denotes a motion vector estimator 14.
A motion vector search mode determiner (Select) 16 that determines a search mode of a motion vector based on the magnitude of the motion vector estimated by the motion vector search mode determiner 16 selects a motion vector based on the search mode determined by the motion vector search mode determiner 15. Is a motion vector searcher (ME) for searching for. The other parts have the same configuration as the conventional example.
【００１８】次に動きベクトル探索器１６の動作に関し
て説明する。この動きベクトル探索器１６は複数の探索
モードを備え、動きベクトル探索モード決定器１５から
の信号に応じて探索モードが選択される。備える探索モ
ードは、評価値の演算に使用する画素信号の種類および
画素数と、ベクトルの探索方法、評価値の演算方法など
である。Next, the operation of the motion vector search unit 16 will be described. The motion vector searcher 16 has a plurality of search modes, and a search mode is selected according to a signal from the motion vector search mode determiner 15. The search modes to be provided include the type and the number of pixels of the pixel signals used for calculating the evaluation value, the vector search method, the evaluation value calculation method, and the like.
【００１９】評価値の演算に使用する画素信号の種類と
しては、輝度信号のみを用いて行うもの、色差信号のみ
を用いて行うもの、輝度信号・色差信号の双方を用いて
行うもの、などを用意する。ＭＰＥＧでは画像信号のサ
ンプリングの取り方に複数のモードが用意されている
が、ここでは４：２：０モードと呼ばれる１マクロブロ
ックに対して輝度信号が２５６個、２つの色差信号がそ
れぞれ６４個づつサンプリングされているものに関して
説明を行う。この場合、輝度信号のみを用いて評価値演
算する場合の演算量を１とすると、色差信号のみを用い
て行う場合は０．５、輝度信号・色差信号の双方を用い
て行う場合は１．５の演算量をそれぞれ必要とする。な
お４：２：０モードとは異なる４：２：２モードや、輝
度信号（Ｙ）と２つの色差信号（ＣＢ・ＣＲ）ではなく
例えば色の３原色と呼ばれるＲ・Ｇ・Ｂの信号を用いた
場合にも本発明は有効である。The types of pixel signals used for calculating the evaluation value include those that use only luminance signals, those that use only color difference signals, those that use both luminance signals and color difference signals, and the like. prepare. In MPEG, a plurality of modes are prepared for sampling an image signal. Here, 256 luminance signals and 64 color difference signals are used for one macro block called a 4: 2: 0 mode. A description will be given of what is sampled one by one. In this case, assuming that the amount of calculation when the evaluation value calculation is performed using only the luminance signal is 1, 0.5 when the calculation is performed using only the color difference signal, and 1. when the calculation is performed using both the luminance signal and the color difference signal. 5 calculation amounts are required. Note that a 4: 2: 2 mode, which is different from the 4: 2: 0 mode, or an R, G, B signal called, for example, three primary colors, instead of a luminance signal (Y) and two color difference signals (CB, CR). The present invention is also effective when used.
【００２０】評価値の演算に使用する画素数に関して
は、対象となるマクロブロックの信号全てを使用するも
の、水平方向に対して２：１にサブサンプリングするも
の、水平方向・垂直方向ともに２：１にサブサンプリン
グするもの、などを用意する。評価対象となる画素の位
置はそれぞれ、フルサンプルの場合が図２、水平方向に
２：１サブサンプルした場合が図３、水平方向・垂直方
向に２：１サブサンプルした場合が図４の●印のように
例えば配置される。この場合、マクロブロックの信号全
てを使用する場合の演算量を１とすると、水平方向に
２：１サブサンプリングを行う場合は０．５、水平・垂
直の双方に２：１サブサンプリングを行う場合は０．２
５の演算量をそれぞれ必要とする。Regarding the number of pixels used for calculating the evaluation value, one using all the signals of the target macroblock, one using subsampling 2: 1 in the horizontal direction, 2: A device for sub-sampling is prepared. The positions of pixels to be evaluated are shown in FIG. 2 for a full sample, FIG. 3 for a 2: 1 subsample in the horizontal direction, and FIG. 4 for a case of 2: 1 subsample in the horizontal and vertical directions. For example, it is arranged like a mark. In this case, assuming that the amount of operation when all the signals of the macroblock are used is 1, 0.5 when performing 2: 1 sub-sampling in the horizontal direction, and 2: 1 sub-sampling in both horizontal and vertical directions Is 0.2
5 calculation amounts are required.
【００２１】ベクトルの探索方法としては、探索範囲内
に存在するベクトル全てに対して半画素精度で評価の算
出を行うもの、一段目で整数画素精度で全てのベクトル
に対して評価の算出を行って最も評価値の小さなベクト
ルを少なくとも一つ以上選び、この選ばれた整数画素精
度のベクトルの周辺のみを対象に半画素精度の探索を二
段目として行う二段階探索を行うもの、左隣または直上
といった隣接するマクロブロックから得られたベクトル
や、過去のフレームにおいて当該マクロブロックと位置
が同じマクロブロックから得られたベクトルの周辺に対
しては細かく探索してその周囲は粗く探索するもの、な
どを用意する。探索されるベクトルの位置は、全点に対
して半画素精度の探索を行う場合が図５、二段階探索の
一段目に相当するものが図６、ベクトルの探索点の粗さ
を変える場合が図７の●印のように例えば配置される。
探索範囲内全てに対して半画素精度の評価値算出を行う
場合の演算量を１とすると、二段階探索を行う場合は約
０．２５、探索点の粗さを変える場合は細かく探索する
範囲と粗く探索する場合の粗さによって変化するがおお
よそ０．２〜０．５程度の演算量を必要とする。As a vector search method, evaluation is calculated with half-pixel accuracy for all vectors existing in the search range, and evaluation is calculated for all vectors with integer-pixel accuracy in the first stage. At least one of the vectors having the smallest evaluation value is selected, and a two-stage search is performed in which only the vicinity of the selected vector of the integer pixel accuracy is searched with a half-pixel accuracy as the second stage, the left neighbor or Vectors obtained from adjacent macroblocks such as immediately above, and those around the vector obtained from a macroblock in the same position as the macroblock in the past frame are searched finely and the surrounding area is searched coarsely. Prepare The position of the vector to be searched is shown in FIG. 5 when a search with half-pixel accuracy is performed for all points, in FIG. 6 where the first stage of the two-stage search is performed, and when the roughness of the vector search point is changed. They are arranged, for example, as indicated by the ● marks in FIG.
Assuming that the amount of calculation when calculating an evaluation value with half-pixel accuracy for all of the search range is 1, about 0.25 when performing a two-step search, and a fine search range when changing the roughness of a search point It depends on the roughness of the coarse search, but requires a calculation amount of about 0.2 to 0.5.
【００２２】評価値の演算方法としては、従来方法で述
べた差分二乗和のほかに、入力信号と予測信号との間で
絶対値差分をとってマクロブロック内の総和を求める絶
対値差分和を取る方法を用意する。差分二乗和と絶対値
差分和の演算量の比較は、その計算の仕方によって変わ
るものであるため一意には得られないが、差分二乗和の
方が２〜３倍程度必要になる場合が多い。As a method of calculating the evaluation value, in addition to the sum of squared differences described in the conventional method, the sum of absolute values obtained by taking the absolute value difference between the input signal and the prediction signal to obtain the sum in the macroblock is obtained. Prepare a way to take. The comparison of the amount of operation between the sum of squared differences and the sum of absolute differences cannot be uniquely obtained because it varies depending on the method of calculation. However, the sum of squared differences often requires about two to three times. .
【００２３】次に、動きベクトル推定器１４の動作につ
いて説明する。動きベクトルメモリ１３に記憶されてい
る過去に検出されたベクトルの値から、例えば過去の１
フレーム分のベクトルの平均値と分散といった統計量を
求め、これらから探索対象としているフレーム全体の動
きの大きさを推定する。例えば平均値・分散ともに小さ
いときには動きが小さい画像と判断し、平均は大きいが
分散が小さいときにはカメラが一定方向にパンしている
ような画像であると判断し、平均は小さいが分散が大き
いときにはカメラは固定されているが被写体が動いてい
る画像であると判断し、平均・分散ともに大きいときに
はカメラ・被写体共に動きが激しい画像であると判断す
る。また、探索対象のマクロブロックに隣接するマクロ
ブロックの動きベクトルや過去のフレームの動きベクト
ルから、探索対象のマクロブロックの動きベクトルの推
定値も求める。Next, the operation of the motion vector estimator 14 will be described. From the values of previously detected vectors stored in the motion vector memory 13, for example,
Statistics such as the average value and the variance of the vector for the frame are obtained, and the magnitude of the motion of the entire frame to be searched is estimated from these statistics. For example, when both the average value and the variance are small, it is determined that the image has small motion. When the average is large but the variance is small, it is determined that the image is such that the camera is panning in a certain direction. When the average is small but the variance is large, the image is small. It is determined that the image is fixed but the image of the subject is moving, and when both the average and the variance are large, it is determined that the image of the camera and the image of the subject both move rapidly. In addition, an estimated value of the motion vector of the search target macroblock is obtained from the motion vector of the macroblock adjacent to the search target macroblock or the motion vector of the past frame.
【００２４】次に動きベクトル探索モード決定器１５の
動作について説明する。フレーム全体の動きが小さいと
推定される場合は、ベクトルの探索する範囲を広く取る
必要が特に無いので、狭い範囲を細かく探索する。例え
ば評価値に使用する信号は、輝度のみ、色差のみ、輝度
・色差双方使用の３つのモードを同時に用い、画素数は
マクロブロック内の全ての画素を使用し、ベクトルの探
索範囲は狭い範囲を設定して探索範囲内全てに対して半
画素精度で行う、というように決定する。この場合、動
きベクトルは輝度信号に対する最適なもの、色差信号に
対する最適なもの、輝度・色差信号に対して最適なもの
の３つが得られることとなる。３つのうちのいづれを選
ぶかは、例えば評価値が最小なものを選んだり、３つの
中で平均値を取るといったような方法によることができ
る。Next, the operation of the motion vector search mode determiner 15 will be described. When the motion of the entire frame is estimated to be small, it is not particularly necessary to widen the search range of the vector, so that a narrow search is performed in detail. For example, the signal used for the evaluation value uses three modes of only luminance only, chrominance only, and both luminance and chrominance simultaneously, the number of pixels uses all the pixels in the macroblock, and the vector search range is narrow. It is set so that the setting is performed and the whole of the search range is performed with half-pixel accuracy. In this case, three optimal motion vectors are obtained for the luminance signal, for the color difference signal, and for the luminance / color difference signal. Which of the three is to be selected can be determined by, for example, selecting the one with the smallest evaluation value or taking the average value among the three.
【００２５】逆にフレーム全体の動きが大きいときには
広い範囲を探索する必要があるが、上述のような細かい
探索を行うと演算量が増大してしまうため一部のモード
を粗い精度で行うようにして演算量が増大しないように
する。例えば平均は大きいが分散が小さい画像の場合
は、隣接するマクロブロックや過去のマクロブロックで
得られたベクトルに近いものが選択されることが期待さ
れるため、図７のように特定のブロック周辺のみは細か
く探索し、その周囲は粗く探索する、というようにして
広い範囲を探索はするが演算量自体は増加しないように
する。Conversely, when the motion of the entire frame is large, it is necessary to search a wide range. However, if the above-described fine search increases the amount of calculation, some modes are performed with coarse accuracy. So that the amount of calculation does not increase. For example, in the case of an image having a large average but a small variance, it is expected that a vector close to a vector obtained from an adjacent macroblock or a past macroblock is expected to be selected. Only a fine search is performed, and a rough search is performed around the fine search, so that a wide range is searched, but the amount of calculation itself is not increased.
【００２６】また、平均は小さいが分散が大きい画像の
場合は、被写体が複雑に動いている可能性が高いため広
い範囲に対して一様に探索できるよう、画素信号の種類
は輝度信号のみとし、画素数も２：１にサブサンプリン
グを行い、ベクトルの探索も２段階探索を採用する。画
素信号の種類を輝度信号だけにすることにより、輝度・
色差信号双方を用いる場合よりも画素数を３分の２に減
らすことができるため、総演算量を同じとした場合でも
探索範囲を２分の３倍に増やすことが可能となる。また
２：１サブサンプリングを行うことによって演算量を半
減できるため、その分探索範囲を２倍に増やすことがで
きる。ベクトルの探索方法として２段階探索を採用する
ことにより、探索範囲内のベクトル全てに対して半画素
精度探索を行うときに比べて探索点をおおよそ４分の１
に減らすことができ演算量を４分の１に減らすことがで
きるため、その分探索範囲を４倍に増やすことが可能と
なる。In the case of an image having a small average but a large variance, it is highly likely that the subject is moving in a complicated manner. , The number of pixels is 2: 1, and the vector search employs a two-stage search. By using only the luminance signal as the type of pixel signal,
Since the number of pixels can be reduced to two thirds as compared with the case where both color difference signals are used, the search range can be increased to three half times even when the total calculation amount is the same. In addition, since the amount of calculation can be halved by performing 2: 1 sub-sampling, the search range can be doubled accordingly. By employing a two-step search as a vector search method, the number of search points can be reduced to about one-fourth as compared with a case where a half-pixel precision search is performed for all vectors within the search range.
And the amount of calculation can be reduced to a quarter, so that the search range can be increased by a factor of four.
【００２７】平均も分散も大きいときには動きが激しい
と推定されるため、より広い範囲を探索できるように探
索のモードを設定する。例えば画素数を水平・垂直方向
ともに２：１にサブサンプリングすることによって演算
量を４分の１に減らしたり、評価値の演算を掛け算を必
要とする差分二乗和ではなく足し算のみで計算できる絶
対値差分和を採用する。When the average and the variance are large, the motion is presumed to be intense. Therefore, the search mode is set so that a wider range can be searched. For example, the amount of calculation can be reduced to 1/4 by subsampling the number of pixels in both the horizontal and vertical directions at 2: 1, or the calculation of the evaluation value can be calculated only by addition instead of the sum of squared differences requiring multiplication. The value difference sum is adopted.
【００２８】動きベクトル探索器１６は動きベクトル探
索モード決定器１５の信号に応じて探索モードを選択
し、各々のベクトルの評価値演算を行い、動きベクトル
を探索する。なお、動きベクトル探索器１６は前述の全
てのモードを備える必要はなく、その装置の用途や構成
規模に応じていづれかの組み合わせにより二つ以上のモ
ードを備えていれば本発明を実施することは可能であ
る。The motion vector searcher 16 selects a search mode in accordance with the signal of the motion vector search mode determiner 15, calculates the evaluation value of each vector, and searches for a motion vector. It should be noted that the motion vector searcher 16 does not need to include all the above-described modes, and the present invention can be implemented as long as the motion vector searcher 16 includes two or more modes depending on the application and the configuration scale of the device. It is possible.
【００２９】以上のように、過去に検出されたベクトル
の値から統計量を求めて対象としているマクロブロック
の動きの推定を行い、推定値に応じて動きベクトルの探
索モードを決定するようにしているので、演算量及び回
路規模を増やすこと無く探索範囲を広げたり検出精度を
高めることができる。As described above, a statistic is obtained from the value of a vector detected in the past to estimate the motion of the target macroblock, and the motion vector search mode is determined according to the estimated value. Therefore, the search range can be expanded and the detection accuracy can be increased without increasing the amount of calculation and the circuit scale.
【００３０】[0030]
【発明の効果】請求項１の発明によれば、動きベクトル
メモリに記憶されている動きベクトルから統計量を求め
て符号化対象としているマクロブロックの動きベクトル
を推定し、この推定した動きベクトルの大きさに基づい
て、複数の探索モードの中から所定の探索モードを決定
し、この決定した探索モードに基づいて動きベクトルを
探索するので、動きベクトル検出器の演算量及び回路規
模を増やすこと無く、精度の高い動きベクトルを検出で
きるという効果がある。According to the first aspect of the present invention, a statistic is obtained from a motion vector stored in a motion vector memory to estimate a motion vector of a macroblock to be encoded. Based on the size, a predetermined search mode is determined from a plurality of search modes, and a motion vector is searched based on the determined search mode. Therefore, the amount of calculation and the circuit scale of the motion vector detector are not increased. This has the effect that a highly accurate motion vector can be detected.
【００３１】請求項２の発明によれば、動きベクトルメ
モリに記憶されている動きベクトルから平均値と分散を
求め、符号化対象としている画像シーケンスの動きの大
きさ及び複雑さを推定し、この推定結果に基づき、動き
が小さいか単純なときには狭い範囲を精度高く、動きが
大きいか複雑なときには広い範囲を粗い精度で動きベク
トルを探索できるように上記探索モードを決定するの
で、動きベクトル検出器の演算量及び回路規模を増やす
こと無く、精度の高い動きベクトルを検出できるという
効果がある。According to the second aspect of the present invention, the average and variance are obtained from the motion vectors stored in the motion vector memory, and the magnitude and complexity of the motion of the image sequence to be encoded are estimated. Based on the estimation result, the search mode is determined so that the motion vector can be searched with a high accuracy in a narrow range when the motion is small or simple, and a coarse range can be searched with a coarse accuracy when the motion is large or complex. There is an effect that a highly accurate motion vector can be detected without increasing the amount of calculation and the circuit size of.
【００３２】請求項３の発明によれば、動きベクトルメ
モリに記憶されている動きベクトルから、隣接している
マクロブロックに対して検出された動きベクトルを用い
て、符号化対象としているマクロブロックの動きベクト
ルを推定し、この推定された動きベクトルの近傍は精度
高く、その周囲は粗い精度で動きベクトルを探索できる
ように上記探索モードを決定するので、動きベクトル検
出器の演算量及び回路規模を増やすこと無く、精度の高
い動きベクトルを検出できるという効果がある。According to the third aspect of the present invention, a macro block to be coded is selected from the motion vectors stored in the motion vector memory by using a motion vector detected for an adjacent macro block. The motion vector is estimated, and the search mode is determined so that the vicinity of the estimated motion vector can be searched with high accuracy and the surroundings can be searched with coarse accuracy. There is an effect that a highly accurate motion vector can be detected without increasing.
【００３３】請求項４の発明によれば、探索モードとし
て、輝度信号のみを使用して評価値を計算するモード、
色差信号のみを使用して評価値を計算するモード、輝度
信号と色差信号双方を使用して評価値を計算するモード
を有し、推定した動きベクトルの大きさに基づいて上記
モードのいずれかを選択し、この選択したモードに基づ
いて動きベクトルを探索するので、動きベクトル検出器
の演算量及び回路規模を増やすこと無く、精度の高い動
きベクトルを検出できるという効果がある。According to the fourth aspect of the present invention, the search mode is a mode in which the evaluation value is calculated using only the luminance signal.
A mode for calculating the evaluation value using only the color difference signal, a mode for calculating the evaluation value using both the luminance signal and the color difference signal, and any one of the modes based on the estimated motion vector size. Since the motion vector is selected and the motion vector is searched based on the selected mode, there is an effect that a highly accurate motion vector can be detected without increasing the operation amount and the circuit scale of the motion vector detector.
【００３４】請求項５の発明によれば、探索モードとし
て、符号化対象のマクロブロック内の全ての画素を使用
して評価値を計算するモード、水平方向に２：１サブサ
ンプリングを行い半分の個数の画素を使用して評価値を
計算するモード、水平方向と垂直方向ともに２：１サブ
サンプリングを行い４分の１の個数の画素を使用して評
価値を計算するモードを有し、推定した動きベクトルの
大きさに基づいて上記モードのいずれかを選択し、この
選択したモードに基づいて動きベクトルを探索するの
で、動きベクトル検出器の演算量及び回路規模を増やす
こと無く、精度の高い動きベクトルを検出できるという
効果がある。According to the fifth aspect of the present invention, the search mode is a mode in which the evaluation value is calculated using all the pixels in the macroblock to be coded. It has a mode for calculating an evaluation value using a number of pixels, and a mode for performing 2: 1 subsampling in both horizontal and vertical directions and calculating an evaluation value using a quarter number of pixels. One of the above modes is selected based on the magnitude of the motion vector obtained, and the motion vector is searched based on the selected mode. Therefore, high accuracy can be achieved without increasing the operation amount and circuit scale of the motion vector detector. There is an effect that a motion vector can be detected.
【００３５】請求項６の発明によれば、探索モードとし
て、探索範囲対象内の全てのベクトルに対して半画素精
度で評価値の計算を行うモード、最初に整数画素精度で
評価値の計算を行い次に半画素精度で評価値の計算を行
う２段階探索を行うモード、既に符号化されたマクロブ
ロックのベクトルの近傍に対しては細かい精度でベクト
ルの探索を行いその周辺部に対しては粗い精度でベクト
ルの探索を行うモードを有し、推定した動きベクトルの
大きさに基づいて上記モードのいずれかを選択し、この
選択したモードに基づいて動きベクトルを探索するの
で、動きベクトル検出器の演算量及び回路規模を増やす
こと無く、精度の高い動きベクトルを検出できるという
効果がある。According to the sixth aspect of the present invention, the search mode is a mode in which evaluation values are calculated with half-pixel accuracy for all vectors within the search range object. Then, a two-step search mode is performed in which the evaluation value is calculated with half-pixel accuracy. In the vicinity of the already encoded macroblock vector, the vector search is performed with fine accuracy, and the peripheral portion is searched. It has a mode for searching for a vector with coarse accuracy, and selects one of the modes based on the estimated size of the motion vector, and searches for a motion vector based on the selected mode. There is an effect that a highly accurate motion vector can be detected without increasing the amount of calculation and the circuit size of.
【００３６】請求項７の発明によれば、探索モードとし
て、輝度信号のみを使用して評価値を計算するモード、
色差信号のみを使用して評価値を計算するモード、輝度
信号と色差信号双方を使用して評価値を計算するモー
ド、符号化対象のマクロブロック内の全ての画素を使用
して評価値を計算するモード、水平方向に２：１サブサ
ンプリングを行い半分の個数の画素を使用して評価値を
計算するモード、水平方向と垂直方向ともに２：１サブ
サンプリングを行い４分の１の個数の画素を使用して評
価値を計算するモード、探索範囲対象内の全てのベクト
ルに対して半画素精度で評価値の計算を行うモード、最
初に整数画素精度で評価値の計算を行い次に半画素精度
で評価値の計算を行う２段階探索を行うモード、既に符
号化されたマクロブロックのベクトルの近傍に対しては
細かい精度でベクトルの探索を行いその周辺部に対して
は粗い精度でベクトルの探索を行うモード、いくつかの
モードを組み合わせて有するので、動きベクトル検出器
の演算量及び回路規模を増やすこと無く、精度の高い動
きベクトルを検出できるという効果がある。According to the invention of claim 7, as the search mode, a mode for calculating an evaluation value using only the luminance signal,
Mode for calculating evaluation values using only color difference signals, mode for calculating evaluation values using both luminance signals and color difference signals, and calculation of evaluation values using all pixels in the macroblock to be encoded Mode, in which 2: 1 sub-sampling is performed in the horizontal direction and an evaluation value is calculated using half the number of pixels, 2: 1 sub-sampling is performed in both the horizontal and vertical directions, and a quarter of the pixels are used. Mode in which the evaluation value is calculated using, the mode in which the evaluation value is calculated with half-pixel accuracy for all the vectors in the search range object, the evaluation value is calculated first with integer pixel accuracy, and then the half-pixel A mode in which a two-step search is performed to calculate the evaluation value with high precision. A vector is searched with fine precision in the vicinity of a vector of an already coded macroblock, and a vector is detected with coarse precision in the vicinity thereof. Mode for the search, since it has a combination of several modes, without increasing the amount of calculation and the circuit scale of the motion vector detector, there is an effect that can be detected with high precision motion vector.
【図１】 この発明の実施の形態１の画像符号化装置の
構成を示すブロック図。FIG. 1 is a block diagram showing a configuration of an image encoding device according to a first embodiment of the present invention.
【図２】 評価値を計算する画素配置の図（フルサンプ
ルのとき）。FIG. 2 is a diagram of a pixel arrangement for calculating an evaluation value (for a full sample).
【図３】 評価値を計算する画素配置の図（水平方向に
２：１サブサンプルしたとき）。FIG. 3 is a diagram of a pixel arrangement for calculating an evaluation value (when 2: 1 sub-sampling is performed in the horizontal direction).
【図４】 評価値を計算する画素配置の図（水平方向・
垂直方向に２：１サブサンプルしたとき）。FIG. 4 is a diagram of a pixel arrangement for calculating an evaluation value (horizontal direction;
2: 1 subsample in the vertical direction).
【図５】 動きベクトルの探索点を示す図（全ての点で
半画素精度探索）。FIG. 5 is a diagram showing search points of a motion vector (half-pixel accuracy search at all points).
【図６】 動きベクトルの探索点を示す図（２段階探
索）。FIG. 6 is a diagram showing a search point of a motion vector (two-stage search).
【図７】 動きベクトルの探索点を示す図（過去のベク
トルの周囲のみ半画素精度探索）。FIG. 7 is a diagram showing search points of a motion vector (half-pixel accuracy search only around past vectors).
【図８】 従来の画像符号化装置の構成を示すブロック
図。FIG. 8 is a block diagram showing a configuration of a conventional image encoding device.
１ 離散コサイン変換器（ＤＣＴ）、２ 量子化器
（Ｑ）、３ 可変長符号化器（ＶＬＣ）、５ 出力バッ
ファ（Ｂｕｆｆｅｒ）、６ 逆量子化器（Ｑ-1）、７
逆離散コサイン変換器（ＩＤＣＴ）、８ フレームメモ
リ（ＦＭ）、９ 動き補償器（ＭＣ）、１１ 加算器、
１２ 減算器、１３ 動きベクトルメモリ（ＭＶＭ）、
１４ 動きベクトル推定器（Ｅｓｔｉｍａｔｅ）、１５
動きベクトル探索モード決定器（Ｓｅｌｅｃｔ）、１
６ 動きベクトル探索器（ＭＥ）。1 discrete cosine transformer (DCT), 2 quantizer (Q), 3 variable length encoder (VLC), 5 output buffer (Buffer), 6 inverse quantizer (Q -1 ), 7
Inverse discrete cosine transformer (IDCT), 8 frame memory (FM), 9 motion compensator (MC), 11 adder,
12 subtractor, 13 motion vector memory (MVM),
14 motion vector estimator (estimate), 15
Motion vector search mode determiner (Select), 1
6 Motion vector searcher (ME).
Claims (7)
ロックマッチング方式により動きベクトルを検出する動
きベクトル検出器において、 複数の探索モードを有し、いずれかに決定された探索モ
ードに基づいて動きベクトルを探索する動きベクトル探
索器と、 既に検出された動きベクトルを記憶する動きベクトルメ
モリと、 この動きベクトルメモリに記憶されている動きベクトル
から統計量を求めて符号化対象としているマクロブロッ
クの動きベクトルを推定する動きベクトル推定器と、 この推定された動きベクトルの大きさに基づいて上記探
索モードを決定する動きベクトル探索モード決定器とを
備えたことを特徴とする動きベクトル検出器。1. A motion vector detector for detecting a motion vector between an input image signal and a reference image signal by a block matching method, comprising a plurality of search modes, based on one of the determined search modes. A motion vector searcher that searches for a motion vector; a motion vector memory that stores a motion vector that has already been detected; a motion vector memory that stores a motion vector stored in the motion vector memory; A motion vector detector comprising: a motion vector estimator for estimating a motion vector; and a motion vector search mode determiner for determining the search mode based on the estimated magnitude of the motion vector.
から平均値と分散を求め、符号化対象としている画像シ
ーケンスの動きの大きさ及び複雑さを推定し、 上記動きベクトル探索モード決定器は、 上記動きベクトル推定器からの推定結果に基づき、動き
が小さいか単純なときには狭い範囲を精度高く、動きが
大きいか複雑なときには広い範囲を粗い精度で動きベク
トルを探索できるように上記探索モードを決定すること
を特徴とする請求項１記載の動きベクトル検出器。2. The motion vector estimator calculates an average value and a variance from the motion vectors stored in the motion vector memory, estimates the magnitude and complexity of the motion of the image sequence to be encoded, Based on the estimation result from the motion vector estimator, the motion vector search mode determiner determines a motion vector with a high accuracy in a narrow range when the motion is small or simple, and a coarse range in a large range when the motion is large or complicated. The motion vector detector according to claim 1, wherein the search mode is determined so that the search can be performed.
から、隣接しているマクロブロックに対して検出された
動きベクトルを用いて、符号化対象としているマクロブ
ロックの動きベクトルを推定し、 上記動きベクトル探索モード決定器は、 上記動きベクトル推定器からの推定結果に基づき、推定
された動きベクトルの近傍は精度高く、その周囲は粗い
精度で動きベクトルを探索できるように上記探索モード
を決定することを特徴とする請求項１記載の動きベクト
ル検出器。3. The motion vector estimator uses a motion vector detected for an adjacent macro block from a motion vector stored in the motion vector memory to generate a macro block to be encoded. The motion vector search mode determiner can estimate the motion vector in the vicinity of the estimated motion vector with high accuracy and coarsely around the estimated motion vector based on the estimation result from the motion vector estimator. The motion vector detector according to claim 1, wherein the search mode is determined as described above.
を計算するモード、色差信号のみを使用して評価値を計
算するモード、輝度信号と色差信号双方を使用して評価
値を計算するモードを有し、上記動きベクトル探索モー
ド決定器からの決定情報に基づいて上記モードのいずれ
かを選択し、この選択したモードに基づいて動きベクト
ルを探索することを特徴とする請求項１記載の動きベク
トル検出器。4. The motion vector searcher according to claim 1, wherein the search mode includes a mode for calculating an evaluation value using only a luminance signal, a mode for calculating an evaluation value using only a chrominance signal, a luminance signal and a chrominance signal. A mode for calculating an evaluation value using both, selecting one of the modes based on the determination information from the motion vector search mode determiner, and searching for a motion vector based on the selected mode The motion vector detector according to claim 1, wherein:
の全ての画素を使用して評価値を計算するモード、水平
方向に２：１サブサンプリングを行い半分の個数の画素
を使用して評価値を計算するモード、水平方向と垂直方
向ともに２：１サブサンプリングを行い４分の１の個数
の画素を使用して評価値を計算するモードを有し、上記
動きベクトル探索モード決定器からの決定情報に基づい
て上記モードのいずれかを選択し、この選択したモード
に基づいて動きベクトルを探索することを特徴とする請
求項１記載の動きベクトル検出器。5. The motion vector searcher according to claim 1, wherein the search mode is a mode in which an evaluation value is calculated using all pixels in a macroblock to be coded. A mode in which the evaluation value is calculated using the number of pixels, and a mode in which the evaluation value is calculated using the quarter number of pixels by performing 2: 1 sub-sampling in both the horizontal direction and the vertical direction. 2. The motion vector detector according to claim 1, wherein one of the modes is selected based on the determination information from the motion vector search mode determiner, and a motion vector is searched based on the selected mode.
ルに対して半画素精度で評価値の計算を行うモード、最
初に整数画素精度で評価値の計算を行い次に半画素精度
で評価値の計算を行う２段階探索を行うモード、既に符
号化されたマクロブロックのベクトルの近傍に対しては
細かい精度でベクトルの探索を行いその周辺部に対して
は粗い精度でベクトルの探索を行うモードを有し、上記
動きベクトル探索モード決定器からの決定情報に基づい
て上記モードのいずれかを選択し、この選択したモード
に基づいて動きベクトルを探索することを特徴とする請
求項１記載の動きベクトル検出器。6. The motion vector searcher according to claim 1, wherein the search mode is a mode in which evaluation values are calculated with half-pixel accuracy for all vectors in a search range object. And then a two-step search in which the evaluation value is calculated with half-pixel accuracy. In the vicinity of the already coded macroblock vector, the vector search is performed with fine accuracy, and the peripheral portion is searched. Has a mode for searching for a vector with coarse accuracy, selecting one of the modes based on the determination information from the motion vector search mode determiner, and searching for a motion vector based on the selected mode. The motion vector detector according to claim 1, wherein:
ードとして、 輝度信号のみを使用して評価値を計算するモード、 色差信号のみを使用して評価値を計算するモード、 輝度信号と色差信号双方を使用して評価値を計算するモ
ード、 符号化対象のマクロブロック内の全ての画素を使用して
評価値を計算するモード、 水平方向に２：１サブサンプリングを行い半分の個数の
画素を使用して評価値を計算するモード、 水平方向と垂直方向ともに２：１サブサンプリングを行
い４分の１の個数の画素を使用して評価値を計算するモ
ード、 探索範囲対象内の全てのベクトルに対して半画素精度で
評価値の計算を行うモード、 最初に整数画素精度で評価値の計算を行い次に半画素精
度で評価値の計算を行う２段階探索を行うモード、 既に符号化されたマクロブロックのベクトルの近傍に対
しては細かい精度でベクトルの探索を行いその周辺部に
対しては粗い精度でベクトルの探索を行うモード、のい
くつかのモードを組み合わせて有することを特徴とする
請求項１記載の動きベクトル検出器。7. The motion vector searcher includes, as the search mode, a mode for calculating an evaluation value using only a luminance signal, a mode for calculating an evaluation value using only a chrominance signal, and a luminance signal and a chrominance signal. A mode in which both sides are used to calculate an evaluation value, a mode in which all pixels in a macroblock to be coded are used to calculate an evaluation value, 2: 1 sub-sampling is performed in the horizontal direction, and half the number of pixels is calculated. A mode in which the evaluation value is calculated using the mode, a mode in which the evaluation value is calculated using a quarter number of pixels by performing 2: 1 sub-sampling in both the horizontal direction and the vertical direction, and all the vectors in the search range object A mode in which the evaluation value is calculated with half-pixel accuracy, a mode in which the evaluation value is calculated with integer pixel accuracy first, and then a two-stage search in which the evaluation value is calculated with half-pixel accuracy. And a mode in which a vector search is performed with fine precision in the vicinity of the vector of the macroblock that is searched and a vector search is performed with coarse precision in the periphery thereof. The motion vector detector according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10040199A JPH11239354A (en) | 1998-02-23 | 1998-02-23 | Motion vector detector |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10040199A JPH11239354A (en) | 1998-02-23 | 1998-02-23 | Motion vector detector |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11239354A true JPH11239354A (en) | 1999-08-31 |
Family
ID=12574125
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10040199A Pending JPH11239354A (en) | 1998-02-23 | 1998-02-23 | Motion vector detector |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11239354A (en) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001169296A (en) * | 1999-10-19 | 2001-06-22 | Deutsche Thomson Brandt Gmbh | Method for estimating motion of digital input video signal |
| JP2003009179A (en) * | 2001-06-22 | 2003-01-10 | Olympus Optical Co Ltd | Motion vector and parallax vector detecting device |
| JP2005228303A (en) * | 2004-01-14 | 2005-08-25 | Matsushita Electric Ind Co Ltd | Motion vector detecting device |
| JP2006033433A (en) * | 2004-07-16 | 2006-02-02 | Kitakyushu Foundation For The Advancement Of Industry Science & Technology | Method and apparatus for motion estimation, and program |
| JP2009027762A (en) * | 2008-11-07 | 2009-02-05 | Renesas Technology Corp | Movement compensation image encoding device and encoding method |
| JP2009520407A (en) * | 2005-12-15 | 2009-05-21 | アナログ・デバイシズ・インコーポレーテッド | Motion estimation using predictive guided decimation search |
| US7599436B2 (en) | 2004-03-18 | 2009-10-06 | Fujitsu Microelectronics Limited | Method of determining search region of motion vector and motion vector detection apparatus |
| JP2010081411A (en) * | 2008-09-26 | 2010-04-08 | Toshiba Corp | Frame interpolation device and frame interpolation method |
| JPWO2008111451A1 (en) * | 2007-03-14 | 2010-06-24 | 日本電信電話株式会社 | Motion vector search method and apparatus, program thereof, and recording medium storing program |
| US7876829B2 (en) | 2004-12-06 | 2011-01-25 | Renesas Electronics Corporation | Motion compensation image coding device and coding method |
| JP2011530199A (en) * | 2008-08-02 | 2011-12-15 | エコール・ドゥ・テクノロジー・スュペリュール | Method and system for determining metrics for image block comparison in motion compensated video coding |
| US8265142B2 (en) | 2007-03-14 | 2012-09-11 | Nippon Telegraph And Telephone Corporation | Encoding bit-rate control method and apparatus, program therefor, and storage medium which stores the program |
| US8559739B2 (en) | 2007-12-03 | 2013-10-15 | Ecole De Technologie Superieure | System and method for quality-aware selection of parameters in transcoding of digital images |
| US8755438B2 (en) | 2010-11-29 | 2014-06-17 | Ecole De Technologie Superieure | Method and system for selectively performing multiple video transcoding operations |
| US9100656B2 (en) | 2009-05-21 | 2015-08-04 | Ecole De Technologie Superieure | Method and system for efficient video transcoding using coding modes, motion vectors and residual information |
| US9161042B2 (en) | 2007-03-14 | 2015-10-13 | Nippon Telegraph And Telephone Corporation | Quantization control method and apparatus, program therefor, and storage medium which stores the program |
| US9455739B2 (en) | 2007-03-14 | 2016-09-27 | Nippon Telegraph And Telephone Corporation | Code amount estimating method and apparatus, and program and storage medium therefor |
| US10616588B2 (en) | 2016-03-18 | 2020-04-07 | Fujitsu Limited | Non-transitory computer-readable storage medium, encoding processing method, and encoding processing apparatus |
| US11559711B2 (en) | 2017-03-01 | 2023-01-24 | China Petroleum & Chemical Corporation | Foam producing method, fire extinguishing method, and appliance for foam extinguishing |
-
1998
- 1998-02-23 JP JP10040199A patent/JPH11239354A/en active Pending
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001169296A (en) * | 1999-10-19 | 2001-06-22 | Deutsche Thomson Brandt Gmbh | Method for estimating motion of digital input video signal |
| JP2003009179A (en) * | 2001-06-22 | 2003-01-10 | Olympus Optical Co Ltd | Motion vector and parallax vector detecting device |
| JP4608136B2 (en) * | 2001-06-22 | 2011-01-05 | オリンパス株式会社 | Motion vector and parallax vector detection device |
| JP2005228303A (en) * | 2004-01-14 | 2005-08-25 | Matsushita Electric Ind Co Ltd | Motion vector detecting device |
| JP4671696B2 (en) * | 2004-01-14 | 2011-04-20 | パナソニック株式会社 | Motion vector detection device |
| US7599436B2 (en) | 2004-03-18 | 2009-10-06 | Fujitsu Microelectronics Limited | Method of determining search region of motion vector and motion vector detection apparatus |
| JP4537136B2 (en) * | 2004-07-16 | 2010-09-01 | 財団法人北九州産業学術推進機構 | Motion estimation method, motion estimation device, and program |
| JP2006033433A (en) * | 2004-07-16 | 2006-02-02 | Kitakyushu Foundation For The Advancement Of Industry Science & Technology | Method and apparatus for motion estimation, and program |
| US7876829B2 (en) | 2004-12-06 | 2011-01-25 | Renesas Electronics Corporation | Motion compensation image coding device and coding method |
| US8406303B2 (en) | 2005-12-15 | 2013-03-26 | Analog Devices, Inc. | Motion estimation using prediction guided decimated search |
| JP2009520407A (en) * | 2005-12-15 | 2009-05-21 | アナログ・デバイシズ・インコーポレーテッド | Motion estimation using predictive guided decimation search |
| US9455739B2 (en) | 2007-03-14 | 2016-09-27 | Nippon Telegraph And Telephone Corporation | Code amount estimating method and apparatus, and program and storage medium therefor |
| JPWO2008111451A1 (en) * | 2007-03-14 | 2010-06-24 | 日本電信電話株式会社 | Motion vector search method and apparatus, program thereof, and recording medium storing program |
| US8265142B2 (en) | 2007-03-14 | 2012-09-11 | Nippon Telegraph And Telephone Corporation | Encoding bit-rate control method and apparatus, program therefor, and storage medium which stores the program |
| US8396130B2 (en) | 2007-03-14 | 2013-03-12 | Nippon Telegraph And Telephone Corporation | Motion vector search method and apparatus, program therefor, and storage medium which stores the program |
| US9161042B2 (en) | 2007-03-14 | 2015-10-13 | Nippon Telegraph And Telephone Corporation | Quantization control method and apparatus, program therefor, and storage medium which stores the program |
| US8559739B2 (en) | 2007-12-03 | 2013-10-15 | Ecole De Technologie Superieure | System and method for quality-aware selection of parameters in transcoding of digital images |
| JP2011530199A (en) * | 2008-08-02 | 2011-12-15 | エコール・ドゥ・テクノロジー・スュペリュール | Method and system for determining metrics for image block comparison in motion compensated video coding |
| JP2014239497A (en) * | 2008-08-02 | 2014-12-18 | エコール・ドゥ・テクノロジー・スュペリュール | Method, system and program determining metric for image block comparison in motion compensation video coding |
| JP2010081411A (en) * | 2008-09-26 | 2010-04-08 | Toshiba Corp | Frame interpolation device and frame interpolation method |
| JP2009027762A (en) * | 2008-11-07 | 2009-02-05 | Renesas Technology Corp | Movement compensation image encoding device and encoding method |
| US9100656B2 (en) | 2009-05-21 | 2015-08-04 | Ecole De Technologie Superieure | Method and system for efficient video transcoding using coding modes, motion vectors and residual information |
| US8755438B2 (en) | 2010-11-29 | 2014-06-17 | Ecole De Technologie Superieure | Method and system for selectively performing multiple video transcoding operations |
| US9420284B2 (en) | 2010-11-29 | 2016-08-16 | Ecole De Technologie Superieure | Method and system for selectively performing multiple video transcoding operations |
| US10616588B2 (en) | 2016-03-18 | 2020-04-07 | Fujitsu Limited | Non-transitory computer-readable storage medium, encoding processing method, and encoding processing apparatus |
| US11559711B2 (en) | 2017-03-01 | 2023-01-24 | China Petroleum & Chemical Corporation | Foam producing method, fire extinguishing method, and appliance for foam extinguishing |
| US11980785B2 (en) | 2017-03-01 | 2024-05-14 | China Petroleum & Chemical Corporation | Foam producing method, fire extinguishing method, and appliance for foam extinguishing |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH11239354A (en) | Motion vector detector | |
| CA2452632C (en) | Method for sub-pixel value interpolation | |
| EP1797722B1 (en) | Adaptive overlapped block matching for accurate motion compensation | |
| US7444026B2 (en) | Image processing apparatus and method of motion vector detection in a moving picture, and recording medium used therewith | |
| CN100468982C (en) | Method and apparatus for performing high quality fast predictive motion search | |
| JPH0795594A (en) | Method and apparatus for detection of motion vector of half pixel accuracy | |
| Chang et al. | A novel approach to fast multi-frame selection for H. 264 video coding | |
| JPH0634651A (en) | Method and device for detecting kinetic vector | |
| JPH11252586A (en) | Coder for stereo scopic moving image | |
| US20050213828A1 (en) | Motion estimation or P-type images using direct mode prediction | |
| KR100386583B1 (en) | Apparatus and method for transcoding video | |
| US7433407B2 (en) | Method for hierarchical motion estimation | |
| KR20090014371A (en) | Motion detection device | |
| US6160584A (en) | Motion detection and motion compensative prediction circuit | |
| FI109634B (en) | Method and apparatus for encoding a video image | |
| KR100490395B1 (en) | Motion vector estimation method and apparatus thereof | |
| US5579050A (en) | Apparatus for encoding a video signal using a search grid | |
| EP1819173B1 (en) | Motion vector predictive encoding apparatus and decoding apparatus | |
| US20060008004A1 (en) | Video encoder | |
| EP1295483B1 (en) | Method of performing motion estimation | |
| JP2008042424A (en) | Image matching apparatus, and image matching method | |
| KR100602148B1 (en) | Method for motion picture encoding use of the a quarter of a pixel motion vector in mpeg system | |
| JPH11122618A (en) | Image coder | |
| KR100240620B1 (en) | Method and apparatus to form symmetric search windows for bidirectional half pel motion estimation | |
| JP2004260251A (en) | Apparatus and program of detecting motion vector |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050322 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050520 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061003 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061016 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 4 Free format text: PAYMENT UNTIL: 20101102 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 5 Free format text: PAYMENT UNTIL: 20111102 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 6 Free format text: PAYMENT UNTIL: 20121102 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131102 Year of fee payment: 7 |