JPH06334992A - Method and device for motion compensation - Google Patents
Method and device for motion compensationInfo
- Publication number
- JPH06334992A JPH06334992A JP11801693A JP11801693A JPH06334992A JP H06334992 A JPH06334992 A JP H06334992A JP 11801693 A JP11801693 A JP 11801693A JP 11801693 A JP11801693 A JP 11801693A JP H06334992 A JPH06334992 A JP H06334992A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- image
- reference image
- parameter
- motion compensation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は動き補償方法及びその装
置に関し、特に動画像から画素単位に動き領域を検出
し、領域ごとに動き推定、動き補償予測を多段に繰り返
して動き補償予測画像を生成する動き補償方法及びその
装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a motion compensation method and an apparatus therefor, and more particularly, it detects a motion region in a pixel unit from a moving image and repeats motion estimation and motion compensation prediction for each region in multiple stages to obtain a motion compensation predicted image. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a motion compensation method and device for generating the motion compensation.
【０００２】[0002]
【従来の技術】この種の従来例として、シグナル・プロ
セッシング誌（Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎ
ｇ），ｖｏｌ．１５，Ｎｏ３，ｐｐ．３１５−３３４，
（１９８８年）に“イメージ・セグメンテーション・ベ
ースド・オン・オブジェクト・オリエンテッド・マッピ
ングパラメータ・エスティメーション（Ｉｍａｇｅ Ｓ
ｅｇｍｅｎｔａｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｏｂｊｅ
ｃｔ ＯｒｉｅｎｔｅｄＭａｐｐｉｎｇ Ｐａｒａｍｅ
ｔｅｒ Ｅｓｔｉｍａｔｉｏｎ）”，の題目で発表され
た論文に示されている。この従来例は図８に示すよう
に、各段階において、動画像の参照画像と現画像とから
変化領域抽出部５０１において画素単位に変化領域を抽
出し、動き推定部５０２において、領域の運動モデルを
導入して変化領域ごとに動きを表わす動きパラメータを
計算し、動き補償部５０３において、参照画像に動き補
償を施して動き補償予測画像を生成し、さらに、動き補
償予測画像を次の段階の参照画像としてこれらの処理を
多段に繰り返して異なる運動をする領域に領域分割する
方法が示されている。この処理の各段階では領域ごとの
動きパラメータによる動き補償予測画像が生成され、す
なわち、多段階領域分割動き補償が行なわれている。2. Description of the Related Art As a conventional example of this kind, Signal Processing magazine (Signal Processing)
g), vol. 15, No 3, pp. 315-334
(1988) in “Image Segmentation Based on Object Oriented Mapping Parameter Estimation (Image S
Egmentation Based on Obje
ct OrientedMapping Parameter
ter Estimation) ". In this conventional example, as shown in FIG. 8, in each stage, pixels are changed from the reference image of the moving image and the current image in the change area extracting unit 501. A change region is extracted in units, a motion estimation unit 502 introduces a motion model of the region to calculate a motion parameter representing a motion for each change region, and a motion compensation unit 503 performs motion compensation on a reference image to perform motion. A method is shown in which a compensation prediction image is generated, and the motion compensation prediction image is used as a reference image in the next stage to repeat these processes in multiple stages to divide the region into regions having different motions. In, a motion-compensated predicted image is generated by a motion parameter for each area, that is, multi-step area division motion compensation is performed.
【０００３】この従来例の動き推定手法では、抽出され
た変化領域を一つの動き物体とみなし、物体の動きのモ
デルを仮定して、その動きパラメータを計算している。
このモデルは、図７に示されるように、物体のモデル、
運動のモデル、投影のモデルから構成される。まず、物
体を３次元空間内の平面と仮定し、次に、その平面状の
各点の運動による位置変化をアフイン変換と仮定し、最
後に、３次元空間内の点の２次元画面平面への投影を中
心投影と仮定している。このとき領域内の各点の動きは
一組の動きパラメータによって表現される。In this conventional motion estimation method, the extracted change region is regarded as one moving object, and the motion parameter is calculated by assuming a model of the motion of the object.
This model is a model of an object, as shown in FIG.
It consists of a motion model and a projection model. First, it is assumed that the object is a plane in the three-dimensional space, then the position change due to the movement of each point on the plane is the Affine transformation, and finally, the point in the three-dimensional space is changed to the two-dimensional screen plane. The projection of is assumed to be the central projection. At this time, the movement of each point in the area is represented by a set of movement parameters.
【０００４】この動きパラメータは動き推定部５０４に
おいて次のように計算される。まず、変化領域抽出部５
０１から出力される領域情報を受けとり、各領域内の参
照画像信号および現画像信号から領域内の各点のフレー
ム差分と空間的輝度勾配を求める。前述のモデリングの
下では、画像信号をテーラー級数展開することで、動き
パラメータ、フレーム差分、輝度勾配および画面状の座
標の間の関係式を導くことができる。次に、前記関係式
に領域内の画素での座標と得られたフレーム差分、輝度
勾配を代入し連立させることで、パラメータに関する連
立１次方程式が得られる。最後に、この方程式を最もよ
く満足するような動きパラメータを最小二乗法により計
算する。This motion parameter is calculated in the motion estimation unit 504 as follows. First, the changed area extraction unit 5
The area information output from 01 is received, and the frame difference and spatial brightness gradient at each point in the area are obtained from the reference image signal and the current image signal in each area. Under the above modeling, the relational expression among the motion parameter, the frame difference, the brightness gradient and the screen-like coordinates can be derived by expanding the image signal by Taylor series. Next, the simultaneous linear equations regarding the parameters are obtained by substituting the coordinates of the pixels in the region, the obtained frame difference, and the brightness gradient into the relational expressions and making them simultaneous. Finally, the motion parameter that best satisfies this equation is calculated by the method of least squares.
【０００５】ただし、この動きパラメータ計算におい
て、ノイズの影響を除くため、使用する画素を選別して
いる。まず、対象の抽出領域全体からフレーム差分、輝
度勾配がある値以上の点を選んで行なう。そのあと、最
初に求まった動きパラメータでは動き補償予測誤差が大
きい点を取り除いて、残りの点を用いて、パラメータの
計算をやり直す。このようにパラメータ計算に用いる点
を選択しながら、予測誤差がある値以下になるまでパラ
メータ計算を繰り返す。その結果、各段階では、領域の
支配的な部分の動きが推定できる。However, in this motion parameter calculation, the pixels to be used are selected in order to eliminate the influence of noise. First, a point with a frame difference or a brightness gradient having a certain value or more is selected from the entire target extraction area. After that, with respect to the motion parameter obtained first, the point having a large motion compensation prediction error is removed, and the parameter is recalculated using the remaining points. In this way, while selecting points to be used for parameter calculation, the parameter calculation is repeated until the prediction error falls below a certain value. As a result, at each stage, the motion of the dominant part of the area can be estimated.
【０００６】[0006]
【発明が解決しようとする課題】この従来の動き補償で
は、画像の動き推定の際、動きパラメータの計算に用い
る点を選択しながら行なっているが、ノイズやモデルが
合わないことなどのために領域内の支配的な点とそうで
ない点との分離が完全でないことが起る。このために、
計算された動きパラメータには誤差が含まれているとい
う問題点がある。In this conventional motion compensation, when motion estimation of an image is performed while selecting points to be used for calculation of motion parameters, noise or model mismatch does not occur. It happens that the separation between the dominant and non-dominant points in the region is not perfect. For this,
There is a problem that the calculated motion parameters include an error.
【０００７】また、各段階の処理を行っているため、パ
ラメータを量子化した場合に誤差が蓄積することや、内
挿処理により動き補償予測画像を作成した場合に、多段
にするほど画像がぼやけることなどがおこる。さらに、
各段階の予測画像を順次生成しなくては、最終的な予測
画像の生成ができないという問題点がある。Further, since each stage of processing is performed, errors are accumulated when the parameters are quantized, and when a motion compensation prediction image is created by interpolation processing, the image becomes more blurred as the number of stages increases. Things happen. further,
There is a problem that the final predicted image cannot be generated unless the predicted image of each stage is sequentially generated.
【０００８】[0008]
【課題を解決するための手段】本発明の動き補償装置
は、ｎ個（ｎ≧２の整数）の動き補償装置がタンデムに
接続して成り、第１の動き補償装置は、前フレームの画
像を第１の参照画像とし、この第１の参照画像と現画像
とから画素単位に第１の変化領域を抽出する第１の抽出
部と、前記第１の変化領域から動きを表わす第１の動き
パラメータを算出する第１の動き推定部と、この第１の
動きパラメータによって前記第１の参照画像に動き補償
を行って第１の予測画像を生成する第１の動き補償部と
を備え、第ｊ（ｎ≧ｊ≧２）の動き補償装置は、第（ｊ
−１）の予測画像を第ｊの参照画像とし、この第ｊの参
照画像と前記現画像とから画素単位の第ｊの変化領域を
抽出する第ｊの抽出部と、前記第１の変化領域から第
（ｊ−１）変化領域までの総合変化領域を前記第ｊの変
化領域と前記総合変化領域から前記第ｊの変化領域を除
いた第ｊの無変化領域とに分割する第ｊの領域分割部
と、前記第ｊの変化領域と前記ｊの無変化領域のそれぞ
れの動きを表わす第ｊの動きパラメータを算出する第ｊ
の動き推定部と、この第ｊの動きパラメータによって前
記第ｊの参照画像の動き補償を行った第ｊの予測画像を
生成する第ｊの動起補償部とを備えている。The motion compensating apparatus of the present invention comprises n (n ≧ 2 integer) motion compensating apparatuses connected in tandem. The first motion compensating apparatus is the image of the previous frame. As a first reference image, and a first extraction unit that extracts a first change region in pixel units from the first reference image and the current image, and a first extraction unit that represents a motion from the first change region. A first motion estimator that calculates a motion parameter; and a first motion compensator that performs motion compensation on the first reference image by the first motion parameter to generate a first predicted image, The j-th (n ≧ j ≧ 2) motion compensation apparatus is
-1) the predicted image as the j-th reference image, and the j-th extraction unit that extracts the j-th change region in pixel units from the j-th reference image and the current image; and the first change region. To the (j-1) th change area, the jth area is divided into the jth change area and the jth non-change area excluding the jth change area from the total change area. A j-th motion parameter representing the motion of each of the j-th change region and the j non-change region.
Motion estimation unit and a j-th motion compensation unit that generates a j-th predicted image that has been motion-compensated for the j-th reference image using the j-th motion parameter.
【０００９】また、本発明の動き補償装置は、ｎ個（ｎ
≧２の整数）の動き補償装置がタンデムに接続して成
り、第１の動き補償装置は、前フレームの画像を第１の
参照画像とし、この第１の参照画像と現画像とから画素
単位に変化領域を抽出する第１の抽出部と、前記第１の
変化領域から動きを表わす第１の動きパラメータを算出
する第１の動き推定部と、この第１の動きパラメータに
よって前記第１の参照画像に動き補償を行った第１の予
測画像を生成する第１の動き補償部とを備え、第ｊ（ｎ
≧ｊ≧２）の動き補償装置は、第（ｊ−１）の予測画像
を第ｊの参照画像とし、この第ｊの参照画像と前記現画
像とから画素単位の第ｊの変化領域を抽出する第ｊの抽
出部と、第ｊの変化領域から第（ｊ−１）の予測画像と
前記現画像を基に動きを表わす第ｊの動きパラメータを
算出する第ｊの動き推定部と、前記第１の動きパラメー
タから第（ｊ−１）の動きパラメータまでの合成と前記
第ｊの動きパラメータとを合成して合成動きパラメータ
を算出する動きパラメータ合成部と、この合成動きパラ
メータを用いて第１の参照画像に対する動き補償を行っ
た第ｊの予測画像を生成する第ｊの動き補償部とを備え
ている。Further, the motion compensation device of the present invention has n (n
Motion compensation devices of (≧ 2 integer) are connected in tandem, and the first motion compensation device uses the image of the previous frame as a first reference image, and uses the first reference image and the current image as a pixel unit. A first extracting section for extracting a change area, a first motion estimating section for calculating a first motion parameter indicating a motion from the first change area, and the first motion parameter for the first motion parameter. A first motion compensation unit that generates a first prediction image in which motion compensation has been performed on the reference image,
The motion compensation device of ≧ j ≧ 2) uses the (j−1) th predicted image as the jth reference image, and extracts the jth change region in pixel units from the jth reference image and the current image. A j-th motion estimating unit that calculates a j-th motion parameter representing motion from the j-th change region based on the (j-1) -th predicted image and the current image; A motion parameter synthesis unit that synthesizes the first motion parameter to the (j-1) th motion parameter and the jth motion parameter to calculate a synthetic motion parameter, and A j-th motion compensation unit that generates a j-th predicted image that has been motion-compensated for one reference image.
【００１０】[0010]
【作用】本発明は、前段階で変化領域として抽出された
領域から現段階での変化領域を取り除いて再度動き推定
を行なうことで、その領域について精度の高い動き推定
が行える。According to the present invention, the motion estimation can be performed with high accuracy by removing the changed region at the present stage from the region extracted as the changed region in the previous stage and performing the motion estimation again.
【００１１】また本発明は、１段目の参照画像からの動
きパラメータを求めて動き補償予測を行うことで、パラ
メータの量子化誤差の蓄積や、画像のぼやけがなくな
り、より誤差の少ない予測画像を生成できる。さらに途
中段階の予測画像を生成する必要がないため、２段目以
上で抽出された領域内の予測画像の生成も一度ででき、
この動き補償手法を画像符号化に適用した場合に、復号
化側では予測画像生成時の計算量が削減できる。Further, according to the present invention, the motion-compensated prediction is performed by obtaining the motion parameter from the reference image of the first stage, thereby eliminating the accumulation of the quantization error of the parameter and the blurring of the image. Can be generated. Furthermore, since it is not necessary to generate the predicted image in the middle stage, it is possible to generate the predicted image in the region extracted in the second stage or more at once.
When this motion compensation method is applied to image coding, the decoding side can reduce the amount of calculation when generating a predicted image.
【００１２】[0012]
【実施例】次に、本発明について図面を参照して説明す
る。DESCRIPTION OF THE PREFERRED EMBODIMENTS Next, the present invention will be described with reference to the drawings.
【００１３】図１は本発明の第１の実施例を示すブロッ
ク図、図２は図１中のｎ−１段目とｎ段目の動き補償装
置の構成を示すブロック図、図３は第１の実施例におけ
るデータの流れを示す図である。FIG. 1 is a block diagram showing a first embodiment of the present invention, FIG. 2 is a block diagram showing a configuration of a motion compensation device at the (n-1) th stage and the nth stage in FIG. 1, and FIG. FIG. 3 is a diagram showing a data flow in the first embodiment.
【００１４】図１において、この第１の実施例は、前フ
レームの画像を第１の参照画像とし、この第１の参照画
像と現画像とから画素単位に第１の変化領域ｄ1 を抽出
し、次に、第１の変化領域ｄ1 から動きを表わす第１の
動きパラメータを算出し、この第１の動きパラメータに
よって第１の参照画に動き補償を行って第１の予測画像
ｅ1 を生成する１段目動き補償装置１−１と、第（ｊ−
１）の予測画像を第ｊ（ｎ≧ｊ≧２の整数）の参照画像
とし、この第ｊの参照画像と現画像とから画素単位の第
ｊの変化領域ｄj を抽出し、次に、第１の変化領域ｄ1
から第（ｊ−１）の変化領域ｄj-1 までの総合変化領域
を第ｊの変化領域と総合変化領域から第ｊの変化領域ｄ
j を除いた第ｊの無変化領域とに分割し、第ｊの変化領
域ｄj と第ｊの無変化領域のそれぞれの動きを表わす第
ｊの動きパラメータを算出し、この第ｊの動きパラメー
タによって第ｊの参照画像の動き補償を行った第ｊの予
測画像ｅj を生成するｊ段目動き補償装置１−ｊとを備
えている。In FIG. 1, in the first embodiment, the image of the previous frame is used as the first reference image, and the first change region d 1 is extracted in pixel units from the first reference image and the current image. Then, the first motion parameter representing the motion is calculated from the first change area d 1 , and the first reference image is motion-compensated by the first motion parameter to obtain the first predicted image e 1 And the (j-
1) The predicted image is the j-th (n ≧ j ≧ 2) reference image, the j-th change region d j in pixel units is extracted from the j-th reference image and the current image, and then First change region d 1
To the (j−1) th change region d j−1 , the total change region is defined as the jth change region and the total change region is changed to the jth change region d.
divided into a non-change area of the j except for j, and calculate the motion parameters of the j representing respective movements of the non-change area of the j of the changing area d j and the j, motion parameters of the j-th The j-th motion compensation apparatus 1-j for generating the j-th predicted image e j obtained by motion-compensating the j-th reference image.
【００１５】図２において、第１の実施例におけるｎ−
１段目動き補償装置１−（ｎ−１）は、第（ｎ−２）の
予測画像ｅn-2 を第（ｎ−１）の参照画像とし、この参
照画像ｅn-2 と現画像とから画素単位の第（ｎ−１）の
変化領域ｄn-1 を抽出する変化領域抽出部１０１と、第
１の変化領域ｄ1 から第（ｎ−２）の変化領域ｄm-1ま
での総合変化領域を第（ｎ−１）の変化領域ｄm-1 と総
合変化領域から第（ｎ−１）の変化領域を除いた第ｊの
無変化領域とに分割する領域分割部１０２と、第（ｎ−
１）の変化領域ｄm-1 と第ｊの無変化領域のそれぞれの
動きを表わす第（ｎ−１）の動きパラメータを算出する
動き推定部１０４と、この第（ｎ−１）の動きパラメー
タによって第（ｎ−１）の参照画像の動き補償を行った
第（ｎ−１）の予測画像ｅn-1 を生成する動き補償部１
０４とを備えている。In FIG. 2, n- in the first embodiment
The first stage motion compensator 1- (n-1) uses the (n-2) th predicted image e n- 2. As the (n-1) th reference image, and a change area extracting unit 101 for extracting the (n-1) th change area d n-1 in pixel units from the reference image en-2 and the current image; The total change area from the first change area d 1 to the (n−2) th change area d m−1 is defined as the (n−1) th change area d m−1 and the (n−1) th change area. Area dividing unit 102 that divides the change area into the j-th unchanged area excluding the change area;
1) a motion estimation unit 104 for calculating the (n-1) th motion parameter representing the motion of each of the changed region d m-1 and the j-th unchanged region, and the (n-1) th motion parameter The motion compensating unit 1 for generating the (n-1) th predicted image e n-1 in which the motion compensation of the (n-1) th reference image is performed by
04 and.
【００１６】ｎ段目動き補償装置１−ｎは、第（ｎ−
１）の予測画像ｅn-1 を第ｎの参照画像とし、この第ｎ
の参照画像と現画像とから画素単位の第ｎの変化領域ｄ
n を抽出する変化領域抽出部１０１と、第１の変化領域
ｄ1 から第（ｎ−１）の変化領域ｄn-1 までの総合変化
領域を第ｎの変化領域と総合変化領域から第ｎの変化領
域を除いた第ｎの無変化領域とに分割する領域分割部１
０２と、第ｎの変化領域ｄn と第ｊの無変化領域のそれ
ぞれの動いを表わす第ｎの動きパラメータを算出する動
き推定部１０３と、この第ｎの動きパラメータによって
第ｎの参照画像の動き補償を行った第ｎの予測画像ｅn
を生成する動き補償部１０４とを備えている。The n-th stage motion compensator 1-n includes the (n-th)
The predicted image e n-1 of 1) is used as the n- th reference image, and
From the reference image and the current image of the nth change region d in pixel units
The change area extraction unit 101 for extracting n, and the total change area from the first change area d 1 to the (n−1) th change area d n−1 to the nth change area and the total change area to the nth change area. Area dividing section 1 for dividing into the n-th non-change area excluding the change area
02, a motion estimator 103 that calculates an nth motion parameter that represents the motion of each of the nth change region d n and the jth unchanged region, and the nth reference image based on the nth motion parameter. Motion-compensated n-th predicted image e n
And a motion compensation unit 104 for generating
【００１７】次に、この第１の実施例における動き推定
方法について、図３を基に図１，図２を参照して説明す
る。Next, the motion estimation method according to the first embodiment will be described based on FIG. 3 and with reference to FIGS.
【００１８】１段目動き補償装置１−１では、前フレー
ム画像２０２を参照画像とし、参照画像２０２と現画像
２０１から１段目動き補償装置１−１の変化領域抽出部
１０１において画素単位に変化領域ｄ1 ２０３を抽出す
る。次に、１段目動き補償装置１−１では領域分割部１
０２の処理はなく、動き推定部１０３において参照画像
２０２と現画像２０１とによる変化領域２０３内から動
き推定のためのデータ点を選択し、参照画像２０２と現
画像２０１とから変化領域２０３の動きを表わす動きパ
ラメータを算出し、動き補償予測誤差が予め設定された
ある値よりも小さくなるまでデータ点の選択と動きパラ
メータの計算を繰り返す。データ点の選択の方法として
は、最初は各データ点でのフレーム差分、輝度勾配が予
め設定されたある値より大きい点を選び、その後は各デ
ータ点ごとの動き補償予測誤差が予め設定されたある値
以下のものだけを残して行く。In the first stage motion compensating apparatus 1-1, the previous frame image 202 is used as a reference image, and the reference image 202 and the current image 201 are used for each pixel in the change area extracting unit 101 of the first stage motion compensating apparatus 1-1. The change area d 1 203 is extracted. Next, in the first stage motion compensation device 1-1, the area dividing unit 1
There is no 02 processing, and the motion estimation unit 103 selects a data point for motion estimation from the change area 203 of the reference image 202 and the current image 201, and the motion of the change area 203 from the reference image 202 and the current image 201. Is calculated, and the selection of the data point and the calculation of the motion parameter are repeated until the motion compensation prediction error becomes smaller than a certain preset value. As a method of selecting the data points, first, a frame difference at each data point and a point whose brightness gradient is larger than a predetermined value are selected, and thereafter, a motion compensation prediction error for each data point is set in advance. Only leave things below a certain value.
【００１９】この方法により、変化領域２０３の支配的
な部分での動きパラメータが求められる。次に、動き補
償部１０４において求めた動きパラメータを用いて参照
画像２０２に動き補償を施し、動き補償した予測画像
（ｅ1 ）２０６を生成する。この予測画像（ｅ1 ）２０
６を２段目動き補償装置１−２の参照画像として次の動
き補償を行う。By this method, the motion parameter in the dominant portion of the change area 203 is obtained. Next, the reference image 202 is motion-compensated using the motion parameters obtained by the motion compensation unit 104, and a motion-compensated predicted image (e 1 ) 206 is generated. This predicted image (e 1 ) 20
6 is used as a reference image of the second stage motion compensator 1-2 to perform the next motion compensation.
【００２０】２段目以降の各動き補償装置では、前段階
の予測画像２０６を参照画像とし、参照画像と現画像２
０１から変化領域抽出部１０１において変化領域２０７
を抽出する。次に、動き補償では、２段目動き補償装置
１−２以降の場合、各領域分割部１０２において前段階
での変化領域２０３を現段階の変化領域２０７と前段階
までの変化領域２０３から現段階の変化領域２０７を除
いた無変化領域２０８とに分割し、それぞれの変化領域
２０７，無変化領域２０８について動き推定部１０３に
おいて動きパラメータを算出し、動き補償部１０４にお
いて求めた動きパラメータを用いて参照画像２０６に動
き補償を施し、動き補償予測画像２１３を生成する。こ
のように前段階では、変化領域として抽出されたが、現
段階では変化領域となならなかった変化領域の動きパラ
メータの計算をやり直しながら動き補償を多段に繰り返
して行う。In each of the second and subsequent motion compensation apparatuses, the predicted image 206 of the previous stage is used as the reference image, and the reference image and the current image 2
01 to the change area 207 in the change area extraction unit 101
To extract. Next, in the motion compensation, in the case of the second-stage motion compensating apparatus 1-2 or later, the change area 203 at the previous stage is changed from the change area 207 at the current stage and the change area 203 up to the previous stage in each area dividing unit 102. The motion estimation unit 103 calculates a motion parameter for each of the change region 207 and the non-change region 208, and the motion parameter obtained by the motion compensation unit 104 is used. Then, the reference image 206 is subjected to motion compensation to generate a motion-compensated predicted image 213. Thus, in the previous stage, the motion compensation is performed in multiple stages while re-calculating the motion parameters of the changed region that was extracted as the changed region but has not become the changed region at the present stage.
【００２１】次に、本発明の第２の実施例について説明
する。Next, a second embodiment of the present invention will be described.
【００２２】図４は本発明の第２の実施例を示すブロッ
ク図、図５は図４中のｎ−１段目とｎ段目の動き補償装
置の構成を示すブロック図、図６は第２の実施例におけ
る１段目の入力参照画像と出力の予測画像との対応を示
す図である。FIG. 4 is a block diagram showing a second embodiment of the present invention, FIG. 5 is a block diagram showing the configuration of the motion compensation device at the (n-1) th stage and the nth stage in FIG. 4, and FIG. It is a figure which shows the correspondence of the input reference image of the 1st step | level and the prediction image of an output in the Example of 2.
【００２３】図４において、この第２の実施例は、前フ
レームの画像を第１の参照画像とし、この第１の参照画
像と現画像とから画素単位に変化領域を抽出し、次に第
１の変化領域から動きを表わす第１の動きパラメータｐ
1 を算出し、この第１の動きパラメータｐ1 によって第
１の参照画像に動き補償を行って第１の予測画像ｇ1を
生成する１段目動き補償装置３−１と、第（ｊ−１）の
予測画像ｇj-1 を第ｊ（ｎ≧ｊ≧２の正数）参照画像と
し、この第ｊの参照画像と原画面とから画素単位の第ｊ
の変化領域を抽出し、次に第ｊの変化領域から第（ｊ−
１）の予測画像と現画像とを基に動きを表わす第ｊの動
きパラメータｐj を算出し、第１の動きパラメータｐ1
から第（ｊ−１）の動きパラメータｐj-1 までの合成と
第ｊの動きパラメータｐj とを合成して合成動きパラメ
ータを算出し、この合成動きパラメータを用いて第１の
参照画像に体する動き補償を行った第ｊの予測画像ｇj
を生成るｊ段目の動き補償装置３−ｊとを備えている。In FIG. 4, in the second embodiment, the image of the previous frame is used as the first reference image, the change region is extracted in pixel units from the first reference image and the current image, and then the second reference image is extracted. The first motion parameter p representing the motion from the change region of 1
1 is calculated, and this first motion parameter p 1 by the first reference first performs motion compensation to an image of the predicted image g 1 1-stage motion compensation unit 3-1 for generating a first (j- 1) The predicted image g j-1 of 1) is used as the j-th (n ≧ j ≧ 2 positive number) reference image, and the j-th pixel-based j-th reference image from the j-th reference image and original screen.
Change regions are extracted, and then from the j-th change region, the (j-
The j-th motion parameter p j representing the motion is calculated based on the predicted image and the current image of 1), and the first motion parameter p 1 is calculated.
To the (j−1) th motion parameter p j−1 and the jth motion parameter p j are combined to calculate a combined motion parameter, and the combined motion parameter is used as the first reference image. Motion-compensated j-th predicted image g j
And a j-th stage motion compensation device 3-j for generating
【００２４】図５において、第２の実施例におけるｎ−
１段目動き補償装置３−（ｎ−１）は、第（ｎ−２）の
予測画像ｇn-2 を第（ｎ−１）の参照画像とし、この参
照画像ｇn-2 と現画像とから画素単位の第（ｎ−１）の
変化領域を抽出する変化領域抽出部３０１と、第（ｎ−
１）の変化領域から第（ｎ−２）の予測画像ｇn-2 と現
画像とを基に動きを表わす第（ｎ−１）の動きパラメー
タｐn-1 を算出する第（ｎ−１）の動き推定部３０２
と、第１の動きパラメータｐ1 から第（ｎ−２）の動き
パラメータｐn2までの合成と第（ｎ−１）の動きパラメ
ータｐn-1 とを合成して合成動きパラメータを算出する
動きパラメータ合成部３０３と、この合成動きパラメー
タを用いて第１の参照画像に対する動き補償を行った第
（ｎ−１）の予測画像ｇn-1 を生成する動き補償部１０
４とを備えている。In FIG. 5, n- in the second embodiment
The first stage motion compensator 3- (n-1) uses the (n-2) th predicted image g n-2 as the (n-1) th reference image, and the reference image g n-2 and the current image. A change area extraction unit 301 that extracts a (n−1) th change area in pixel units from
The (n-1) th motion parameter pn-1 representing the motion is calculated from the (1) th change region based on the (n-2) th predicted image gn -2 and the current image. ) Motion estimation unit 302
And a motion for calculating a combined motion parameter by combining the first motion parameter p 1 to the (n−2) th motion parameter p n2 and the (n−1) th motion parameter p n−1. The parameter synthesis unit 303 and the motion compensation unit 10 that generates the (n−1) th predicted image g n−1 obtained by performing motion compensation on the first reference image using the synthetic motion parameter.
4 and.
【００２５】ｎ段目動き補償装置３−ｎは、第（ｎ−
１）の予測画像ｇn-1 を第ｎの参照画像とし、この第ｎ
の参照画像ｇn-1 と現画像とから画素単位の第ｎの変化
領域を抽出する変化領域抽出部３−ｎと、第ｎの変化領
域から第（ｎ−１）の予測画像ｇn-1 と現画像とを基に
動きを表わす第ｎの動きパラメータｐn を算出する動き
推定部３０２と、第１の動きパラメータｐ1 から第（ｎ
−１）の動きパラメータｐn-1 までの合成と第ｎの動き
パラメータｐn とを合成して合成動きパラメータを算出
する動きパラメータ合成部３０４と、この合成動きパラ
メータを用いて第１の参照画像に対する動き補償を行っ
た第ｎの予測画像ｇn を生成する動き補償部３０４とを
備えている。The n-th stage motion compensator 3-n has the (n-th)
The predicted image g n-1 of 1) is used as the n- th reference image, and
Change image extraction unit 3-n for extracting the nth change region pixel by pixel from the reference image g n-1 and the current image, and the (n−1) th predicted image g n− from the nth change region. A motion estimation unit 302 that calculates an nth motion parameter p n that represents motion based on 1 and the current image, and a first motion parameter p 1 to (n
-1) The motion parameter combining unit 304 that calculates the combined motion parameter by combining the combination up to the motion parameter p n-1 and the nth motion parameter p n, and the first reference using the combined motion parameter. And a motion compensation unit 304 that generates an n- th predicted image g n that has been motion-compensated for the image.
【００２６】次に、この第２の実施例の動作について図
４，図５を参照して説明する。Next, the operation of the second embodiment will be described with reference to FIGS.
【００２７】１段目動き補償装置３−１では、前フレー
ム画像を参照画像とし、参照画像と現画像とから変化領
域抽出部３０１において画素単位に変化領域を抽出す
る。次に、動き推定部３０２において参照画像と現画像
とかおら変化領域の動きを表わす動きパラメータｐ1 を
算出する。次に、第１段目では動きパラメータ合成部３
０３の処理はなく、動き補償部３０４において求めた動
きパラメータｐ1 によって参照画像に動き補償を施し、
動き補償予測画像を生成する。この予測画像を２段目の
動き補償装置３−２の参照画像として動き補償を行な
う。In the first stage motion compensation device 3-1, the preceding frame image is used as a reference image, and the changing region extracting unit 301 extracts the changing region in pixel units from the reference image and the current image. Next, the motion estimation unit 302 calculates a motion parameter p 1 representing the motion of the reference image and the current image or the change area. Next, in the first stage, the motion parameter synthesizing unit 3
There is no processing of 03, motion compensation is performed on the reference image by the motion parameter p 1 obtained by the motion compensation unit 304,
Generate a motion compensated prediction image. Motion compensation is performed using this predicted image as a reference image of the second stage motion compensator 3-2.
【００２８】２段目以降の各動き補償装置では、前段階
の予測画像を参照画像とし、参照画像抽出部３０１にお
いて変化領域を抽出する。次に、動き推定部３０２にお
いて動きパラメータを計算する。２段目動き補償装置３
−２以降の場合には、動きパラメータ合成部３０３にお
いて、前段までの動きパラメータと現段階の動きパラメ
ータとを合成し、１段目の参照画像に対する動きパラメ
ータを求め、求めた動きパラメータを用いて動き補償部
３０４において初段の参照画像に動き補償を施し、動き
補償の予測画像ｇn を生成する。In each of the motion compensation devices of the second and subsequent stages, the predicted image of the previous stage is used as the reference image, and the reference image extraction unit 301 extracts the change area. Next, the motion estimation unit 302 calculates a motion parameter. Second stage motion compensation device 3
In the case of -2 or later, the motion parameter synthesizing unit 303 synthesizes the motion parameters up to the previous stage and the motion parameters at the current stage, obtains the motion parameters for the reference image of the first stage, and uses the obtained motion parameters. The motion compensating unit 304 performs motion compensation on the reference image at the first stage to generate a motion-compensated predicted image g n .
【００２９】次に、この第２の実施例における動き補償
予測画像の生成方法について、図６を参照して説明す
る。Next, a method of generating a motion compensation prediction image in the second embodiment will be described with reference to FIG.
【００３０】上記のように求められた各段階の各領域に
おける動きパラメータＰ（ｍ，ｎ）（第ｍ段第ｎ領域の
前段参照画像に対する動きパラメータ）を用いて、図６
に示すように、対応する領域の各段階の動きパラメータ
を合成し、最終的に分割された領域ごとに１段目の参照
画像に対する動きパラメータＰ’（ｍ，ｎ）（第ｍ段第
ｎ領域の１段目参照画像に対する動きパラメータ）を求
めて動き補償予測画像を生成している。Using the motion parameters P (m, n) (motion parameters for the previous stage reference image of the mth stage nth region) in each region of each stage obtained as described above, FIG.
, The motion parameters of each stage of the corresponding region are combined, and the motion parameter P ′ (m, n) (m-th stage n-th region) for the reference image of the first stage is finally synthesized for each divided region. The motion-compensated predicted image is generated by obtaining the motion parameter) for the first-stage reference image.
【００３１】すなわち、１段目変化領域の１段目参照画
像に対する動きパラメータＰ’（１，１）はＰ（１，
１）のままであるが、２段目変化領域の１段目参照画像
に対する動きパラメータＰ’（２，１），Ｐ’（２，
２）はそれぞれ、その領域を含む１段目の変化領域の動
きパラメータＰ（１，１）と２段目参照画像に対する動
きパラメータＰ（２，１），Ｐ（２，２）を合成して計
算する。合成操作を“* ”とするとＰ’（２，０）＝Ｐ
（２，１）* Ｐ（１，１），Ｐ’（２，２）＝Ｐ（２，
２）* Ｐ（１，１）と表わされる。That is, the motion parameter P '(1,1) for the first-step reference image in the first-step change area is P (1,
1), but the motion parameters P ′ (2,1), P ′ (2, for the first-stage reference image in the second-stage change region
2) is a combination of the motion parameter P (1,1) of the first-stage change area including the area and the motion parameters P (2,1), P (2,2) for the second-stage reference image. calculate. If the composition operation is " * ", P '(2,0) = P
(2,1) * P (1,1), P '(2,2) = P (2
2) * P (1,1).
【００３２】３段目変化領域の１段目参照画像に対する
動きパラメータＰ’（３，１），Ｐ（２，１）も同様
に、それぞれの領域を含む２段目以前の変化領域の動き
パラメータＰ（１，１），Ｐ（２，１）と３段目参照画
像に対する動きパラメータＰ（３，１），Ｐ（３，２）
を合成してＰ’（３，１）＝Ｐ（３，１）* Ｐ（２，
１）* Ｐ（１，１），Ｐ’（３，２）＝Ｐ（３，２）*
Ｐ（２，１）* Ｐ（１，１）のように計算する。最後に
計算した動きパラメータを用いて図６のように抽出され
た各領域ごとに、１段目参照画像４０１から動き補償予
測画像４０２を生成する。Similarly, the motion parameters P '(3,1) and P (2,1) for the first-stage reference image in the third-stage change region also include the motion parameters of the change region before the second stage including the respective regions. P (1,1), P (2,1) and motion parameters P (3,1), P (3,2) for the third-stage reference image
And P ′ (3,1) = P (3,1) * P (2,
1) * P (1,1), P '(3,2) = P (3,2) *
Calculate as P (2,1) * P (1,1). The motion-compensated predicted image 402 is generated from the first-stage reference image 401 for each region extracted as shown in FIG. 6 using the finally calculated motion parameter.
【００３３】次に、この第２の実施例における動きパラ
メータの合成について図７を基にして説明する。Next, the synthesis of motion parameters in the second embodiment will be described with reference to FIG.
【００３４】図７は動き推定モデルを示す図である。FIG. 7 is a diagram showing a motion estimation model.
【００３５】この動作は図５の中の動きパラメータ合成
部３０３における処理であり、処理中の段階の動き推定
で求められた動きパラメータと、前段までに求められた
動きパラメータとを合成する。処理中の段階で得られた
パラメータは、前段の予測画像から現画像に対するもの
であり、前段階までに得られたパラメータは、初段参照
画像から各段までの予測画像に対するものであるので、
これらの２種類のパラメーあを合成して、初段参照画像
から処理中の段階の予測画像に対する動きパラメータを
計算する。This operation is a process in the motion parameter synthesizing unit 303 in FIG. 5, and synthesizes the motion parameter obtained by the motion estimation at the stage being processed and the motion parameter obtained up to the preceding stage. The parameters obtained in the stage of processing are for the current image from the prediction image of the previous stage, and the parameters obtained up to the previous stage are for the prediction image of the first stage reference image to each stage,
By combining these two types of parameters, the motion parameter for the predicted image at the stage being processed is calculated from the initial reference image.
【００３６】まず、動きパラメータについて説明する。
物体の動きを表現する動きパラメータにはモデルを用い
ることにする。このモデルは、図７に示すように物体の
モデル、運動のモデル、投影のモデルからなり、３次元
空間内の物体の３次元的な運動を２次元平面に投影した
ときの動きを表現するものである。ここで（ｘ，ｙ，
ｚ）は３次元空間内の座標を表わし、（Ｘ，Ｙ）は２次
元平面内の座標を表わす。First, the motion parameters will be described.
A model is used as the motion parameter that expresses the motion of the object. This model is composed of an object model, a motion model, and a projection model as shown in FIG. 7, and expresses the movement of a three-dimensional motion of an object in a three-dimensional space when projected onto a two-dimensional plane. Is. Where (x, y,
z) represents the coordinates in the three-dimensional space, and (X, Y) represents the coordinates in the two-dimensional plane.
【００３７】物体のモデルは、式（１）で表わされる３
次元空間内の平面である。The model of the object is 3 represented by the equation (1).
It is a plane in the dimensional space.
【００３８】 αｘ＋βｙ＋γｚ＝１ …（１） 運動モデルは、運動による位置変化を、式（２）のアフ
イン変換で表現される座標変位により記述したものであ
る。Αx + βy + γz = 1 (1) The motion model describes position changes due to motion by coordinate displacement represented by the Affine transformation of Expression (2).
【００３９】 [0039]
【００４０】ここで、Ｔi は平行移動量、Ｒi は回転、
拡大・縮小などを表わす量を示している。Where T i is the translation amount, R i is the rotation,
It indicates the amount representing enlargement / reduction.
【００４１】３次元空間内の点を２次元平面に投影する
モデルは、中心投影である。これは視線が一点に集中す
る投影モデルであり、３次元座標（ｘ，ｙ，ｚ）と２次
元座標（Ｘ，Ｙ）との対応は式（３）のようになる。The model for projecting points in a three-dimensional space onto a two-dimensional plane is the central projection. This is a projection model in which the line of sight is concentrated at one point, and the correspondence between the three-dimensional coordinates (x, y, z) and the two-dimensional coordinates (X, Y) is as shown in equation (3).
【００４２】 [0042]
【００４３】ここで、Ｆは、視点から投影平面までの距
離を表わす。Here, F represents the distance from the viewpoint to the projection plane.
【００４４】以上、式（１）〜（３）のモデルを用いる
と、運動による空間内の点の投影面上での移動（Ｘ，
Ｙ）→（Ｘ´，Ｙ´）は式（４）で表わされ、ａ1 〜ａ
8 の８つのパラメータで動きが表現される。これを動き
パラメータと呼び、このパラメータで特徴づけられる運
動をＡa と定義する。As described above, using the models of the equations (1) to (3), the movement of the point in the space due to the movement (X,
Y) → (X ′, Y ′) is represented by the formula (4), and a 1 to a
Motion is represented by 8 eight parameters. This is called a motion parameter, and the motion characterized by this parameter is defined as A a .
【００４５】 [0045]
【００４６】ここで、動きパラメータａ1 〜ａ8 と、式
（１）〜（３）のモデルを特徴付けているパラメータ
（α，β，γ，Ｒi ，Ｔi ，Ｆ）との関係は式（５）の
ようになっている。Here, the relationship between the motion parameters a 1 to a 8 and the parameters (α, β, γ, R i , T i , F) characterizing the model of the equations (1) to (3) is as follows. It has become like the formula (5).
【００４７】 [0047]
【００４８】以上のように動きパラメータａ1 〜ａ8
は、推定モデルの特徴パラメータの合成により得られて
おり、個々のパラメータの物理的意味を捉えることは困
難であるが、おおよそ、ａ3 ，ａ6 は平行移動量、ａ
6 ，ａ7 は拡大縮小、ａ1 ，ａ2，ａ4 ，ａ5 は回転、
線型変形などの量を示している。As described above, the motion parameters a 1 to a 8
Is obtained by synthesizing the characteristic parameters of the estimation model, and it is difficult to grasp the physical meaning of each parameter, but a 3 and a 6 are approximately parallel translation amounts and a
6 and a 7 are scaling, a 1 , a 2 , a 4 and a 5 are rotation,
The amount of linear deformation is shown.
【００４９】動きパラメータの推定方法については、以
下のように実行される。The motion parameter estimation method is executed as follows.
【００５０】まず、上記のモデリングの下では、現画像
信号値をテーラー級数展開することで、動きパラメー
タ、フレーム差分、輝度勾配および画面上の座標の間の
関係式が導かれる。すなわち、動き推定部３０２に入力
される現画像信号をＳk （Ｘ，Ｙ）とし、参照画像信号
をＳK-1 （Ｘ，Ｙ）とすると、フレーム差分ＦＤ（Ｘ，
Ｙ）は、First, under the above modeling, the relational expression among the motion parameter, the frame difference, the brightness gradient and the coordinates on the screen is derived by expanding the current image signal value by Taylor series. That is, assuming that the current image signal input to the motion estimation unit 302 is S k (X, Y) and the reference image signal is S K-1 (X, Y), the frame difference FD (X, X,
Y) is
【００５１】 [0051]
【００５２】であり、Ｘ軸方向、Ｙ軸方向の輝度勾配Ｇ
x （Ｘ，Ｙ），Ｇy （Ｘ，Ｙ）は、たとえば、And the brightness gradient G in the X-axis direction and the Y-axis direction
x (X, Y), G y (X, Y) is, for example,
【００５３】 [0053]
【００５４】のように計算され、このとき、Is calculated as
【００５５】 [0055]
【００５６】なる関係が成り立つ。この式に現画像およ
び参照画像から求められるフレーム差分、輝度勾配の値
を当てはめ、これを変化領域抽出部から出力される領域
情報で示される対象領域内の画素で連立させるとThe following relationship holds. If the frame difference and the value of the brightness gradient obtained from the current image and the reference image are applied to this formula and these are made simultaneous with the pixels in the target area indicated by the area information output from the change area extraction unit,
【００５７】 [0057]
【００５８】 [0058]
【００５９】次に、この動きパラメータの用いた時の、
パラメータ合成の方法について説明する。Next, when using this motion parameter,
A method of parameter synthesis will be described.
【００６０】いま、ある領域の前段までの動きパラメー
タをａ1 ，ａ2 ，…，ａ8 とし、その運動（Ｘ，Ｙ）→
（Ｘ1 ，Ｙ1 ）をＡa とする。Now, the motion parameters up to the preceding stage of a certain area are set to a 1 , a 2 , ..., A 8 , and the motion (X, Y) →
Let (X 1 , Y 1 ) be A a .
【００６１】 [0061]
【００６２】 [0062]
【００６３】となり、Ａb （Ａa （Ｘ，Ｙ））を式（１
３），（１４）から計算し式（１５）のＡc （Ｘ，Ｙ）
と比較することで、Then, A b (A a (X, Y)) is given by the expression (1
3), calculated from (14), A c (X, Y) in equation (15)
By comparing with
【００６４】 [0064]
【００６５】を得る。この式（１６）を用いて、前段ま
での動きパラメータａ1 ，ａ2 ，…，ａ8 と、処理中の
段階の動きパラメータｂ1 ，ｂ2 ，…，ｂ8 から、合成
される運動の動きパラメータｃ1 ，ｃ2 ，…，ｃ8 を算
出する。To obtain Using this equation (16), motion parameter a 1 of preceding stage, a 2, ..., and a 8, the movement of the stage in the process parameters b 1, b 2, ..., from b 8, the motion to be synthesized The motion parameters c 1 , c 2 , ..., C 8 are calculated.
【００６６】[0066]
【発明の効果】以上説明したように本発明によれば、動
き補償予測の精度が向上し、従来より少ない予測誤差で
予測画像を生成できる。さらに、画像符号化に適用した
場合、復号化側では途中段階の動き補償予測画像を生成
する必要性をなくすことができる。As described above, according to the present invention, the accuracy of motion-compensated prediction is improved, and a prediction image can be generated with a prediction error smaller than that of the conventional art. Further, when applied to image coding, the decoding side can eliminate the need to generate a motion-compensated prediction image at an intermediate stage.
【図１】本発明の第１の実施例を示すブロック図であ
る。FIG. 1 is a block diagram showing a first embodiment of the present invention.
【図２】図１中のｎ−１段目とｎ段目の動き補償装置の
構成を示すブロック図である。FIG. 2 is a block diagram showing a configuration of a motion compensation device at an (n−1) th stage and an nth stage in FIG. 1.
【図３】第１の実施例におけるデータの流れを示す図で
ある。FIG. 3 is a diagram showing a data flow in the first embodiment.
【図４】本発明の第２の実施例を示すブロック図であ
る。FIG. 4 is a block diagram showing a second embodiment of the present invention.
【図５】図４中のｎ−１段目とｎ段目の動き補償装置の
構成を示すブロック図である。FIG. 5 is a block diagram showing a configuration of a motion compensation device at the (n−1) th stage and the nth stage in FIG. 4.
【図６】第２の実施例における１段目の入力の参照画像
と出力の予測画像との対応を示す図である。FIG. 6 is a diagram illustrating a correspondence between a reference image of an input and a predicted image of an output in the first stage in the second embodiment.
【図７】動き推定モデルを示す図である。FIG. 7 is a diagram showing a motion estimation model.
【図８】従来の動き補償装置の一例を示すブロック図で
ある。FIG. 8 is a block diagram showing an example of a conventional motion compensation device.
１−１〜１−ｎ １段目〜ｎ段目動き補償装置 ３−１〜３−ｎ １段目〜ｎ段目動き補償装置 １０１，３０１ 変化領域抽出部 １０２ 領域分割部 １０３，３０２ 動き推定部 １０４，３０４ 動き補償部 ３０３ 動きパラメータ合成部 1-1 to 1-n 1st stage to nth stage motion compensation device 3-1 to 3-n 1st stage to nth stage motion compensation device 101,301 change region extraction unit 102 region division unit 103,302 motion estimation Unit 104, 304 motion compensation unit 303 motion parameter synthesis unit
Claims (4)
タンデムに接続して成り、 第１の動き補償装置は、前フレームの画像を第１の参照
画像とし、この第１の参照画像と現画像とから画素単位
に第１の変化領域を抽出し、次に、前記第１の変化領域
から動きを表わす第１の動きのパラメータを算出し、こ
の第１の動きパラメータによって前記第１の参照画像に
動き補償を行って第１の予測画像を生成し、 第ｊ（ｎ≧ｊ≧２）の動き補償装置は、第（ｊ−１）の
予測画像を第ｊの参照画像とし、この第ｊの参照画像と
前記現画像とから画素単位の第ｊの変化領域を抽出し、
次に前記第１の変化領域から第（ｊ−１）の変化領域ま
での総合変化領域を前記第ｊの変化領域と前記総合変化
領域から前記第ｊの変化領域を除いた第ｊの無変化領域
とに分割し、前記第ｊの変化領域と前記第ｊ無変化領域
のそれぞれの動きを表わす第ｊの動きパラメータを算出
し、この第ｊの動きパラメータによって前記第ｊの参照
画像の動き補償を行った第ｊの予測画像を生成すること
を特徴とする動き補償方法。1. A motion compensation device of n pieces (an integer of n ≧ 2) is connected in tandem, and the first motion compensation device uses an image of a previous frame as a first reference image, and A first change region is extracted in pixel units from the reference image and the current image, and then a first motion parameter representing motion is calculated from the first change region, and the first motion parameter is used to calculate the first motion parameter. Motion compensation is performed on the first reference image to generate a first predicted image, and the j-th (n ≧ j ≧ 2) motion compensation apparatus converts the (j−1) th predicted image to the j-th reference image. And extracting the jth change region in pixel units from the jth reference image and the current image,
Next, the total change area from the first change area to the (j-1) th change area is set to the jth change area and the jth change area excluding the jth change area from the total change area. And a j-th motion parameter representing each motion of the j-th change region and the j-th non-change region is calculated, and motion compensation of the j-th reference image is performed by the j-th motion parameter. The motion compensation method is characterized by generating the j-th predicted image obtained by performing the above.
タンデムに接続して成り、 第１の動き補償装置は、前フレームの画像を第１の参照
画像とし、この第１の参照画像と現画像とから画素単位
に第１の変化領域を抽出する第１の抽出部と、前記第１
の変化領域から動きを表わす第１の動きパラメータを算
出する第１の動き推定部と、この第１の動きパラメータ
によって前記第１の参照画像に動き補償を行って第１の
予測画像を生成する第１の動き補償部とを備え、 第ｊ（ｎ≧ｊ≧２）の動き補償装置は、第（ｊ−１）の
予測画像を第ｊの参照画像とし、この第ｊの参照画像と
前記現画像とから画素単位の第ｊの変化領域を抽出する
第ｊの抽出部と、前記第１の変化領域から第（ｊ−１）
変化領域までの総合変化領域を前記第ｊの変化領域と前
記総合変化領域から前記第ｊの変化領域を除いた第ｊの
無変化領域とに分割する第ｊの領域分割部と、前記第ｊ
の変化領域と前記ｊの無変化領域のそれぞれの動きを表
わす第ｊの動きパラメータを算出する第ｊの動き推定部
と、この第ｊの動きパラメータによって前記第ｊの参照
画像の動き補償を行った第ｊの予測画像を生成する第ｊ
の動き補償部とを備えることを特徴とする動き補償装
置。2. A motion compensation device of n pieces (an integer of n ≧ 2) is connected in tandem, and the first motion compensation device uses the image of the previous frame as a first reference image, and A first extraction unit that extracts a first change region in pixel units from the reference image and the current image;
A first motion estimation unit that calculates a first motion parameter that represents a motion from the change region of C, and motion compensation is performed on the first reference image by the first motion parameter to generate a first predicted image. The j-th (n ≧ j ≧ 2) motion compensation apparatus includes a first motion compensation unit, and uses the (j−1) -th predicted image as a j-th reference image, and the j-th reference image and the A j-th extraction unit that extracts a j-th change area in pixel units from the current image; and a (j-1) -th change area from the first change area.
A j-th area dividing unit that divides the total change area up to the change area into the j-th change area and the j-th non-change area excluding the j-th change area from the total change area;
Motion estimation section for calculating the jth motion parameter representing the motion of each of the change region and the non-change region of j, and motion compensation of the jth reference image is performed by the jth motion parameter. J-th predicted image to generate the j-th predicted image
Motion compensation unit.
タンデムに接続して成り、 第１の動き補償装置は、前記フレームの画像を第１の参
照画像とし、この第１の参照画像と現画像とから画素単
位に変化領域を抽出し、次に、前記第１の変化領域から
動きを表わす第１の動きパラメータを算出し、この第１
の動きパラメータによって前記第１の参照画像に動き補
償を行った第１の予測画像を生成し、 第ｊ（ｎ≧ｊ≧２）の動き補償装置は、第（ｊ−１）の
予測画像を第ｊの参照画像とし、この第ｊの参照画像と
前記現画像とから画素単位の第ｊの変化領域を抽出し、
次に、第ｊの変化領域から第（ｊ−１）の予測画像と前
記現画像とを基に動きを表わす第ｊの動きパラメータを
算出し、前記第１の動きパラメータから第（ｊ−１）の
動きパラメータまでの合成と前記第ｊの動きパラメータ
とを合成して合成動きパラメータを算出し、この合成動
きパラメータを用いて前記第１の参照画像に対する動き
補償を行った第ｊの予測画像を生成することを特徴とす
る動き補償方法。3. A motion compensation device of n pieces (an integer of n ≧ 2) is connected in tandem, and the first motion compensation device uses the image of the frame as a first reference image, and A change region is extracted from the reference image and the current image on a pixel-by-pixel basis, and then a first motion parameter representing a motion is calculated from the first change region.
The first reference image is motion-compensated according to the motion parameter of the first reference image, and the j-th (n ≧ j ≧ 2) motion-compensating apparatus generates the (j−1) -th prediction image. A j-th reference image is extracted from the j-th reference image and the current image as a j-th reference image,
Next, the j-th motion parameter representing the motion is calculated from the j-th change region based on the (j-1) th predicted image and the current image, and the j-th motion parameter is calculated from the first motion parameter. ) Of the motion parameters and the j-th motion parameter are combined to calculate a composite motion parameter, and the combined motion parameter is used to perform motion compensation on the first reference image to calculate the j-th predicted image. A motion compensation method characterized by:
タンデムに接続して成り、 第１の動き補償装置は、前フレームの画像を第１の参照
画像とし、この第１の参照画像と現画像とから画素単位
に変化領域を抽出する第１の抽出部と、前記第１の変化
領域から動きを表わす第１の動きパラメータを算出する
第１の動き推定部と、この第１の動きパラメータによっ
て前記第１の参照画像に動き補償を行った第１の予測画
像を生成する第１の動き補償部とを備え、 第ｊ（ｎ≧ｊ≧２）の動き補償装置は、第（ｊ−１）の
予測画像を第ｊの参照画像とし、この第ｊの参照画像と
前記現画像とから画素単位の第ｊの変化領域を抽出する
第ｊの抽出部と、第ｊの変化領域から第（ｊ−１）の予
測画像と前記現画像とを基に動きを表わす第ｊの動きパ
ラメータを算出する第ｊの動き推定部と、前記第１の動
きパラメータから第（ｊ−１）の動きパラメータまでの
合成と前記第ｊの動きパラメータとを合成して合成動き
パラメータを算出する動きパラメータ合成部と、この合
成動きパラメータを用いて第１の参照画像に対する動き
補償を行った第ｊの予測画像を生成する第ｊの動き補償
部とを備えることを特徴とする動き補償装置。4. The n (n ≧ 2 integer) motion compensation devices are connected in tandem, and the first motion compensation device uses the image of the previous frame as a first reference image, and A first extraction unit that extracts a change region from the reference image and the current image on a pixel-by-pixel basis, a first motion estimation unit that calculates a first motion parameter representing a motion from the first change region, and a first motion estimation unit. A first motion compensation unit that generates a first predicted image in which the first reference image is motion-compensated with a first motion parameter, and the j-th (n ≧ j ≧ 2) motion compensation apparatus includes: The (j−1) th predicted image is used as a jth reference image, and a jth extraction unit that extracts a jth change region in pixel units from the jth reference image and the current image; A j-th motion parameter indicating motion based on the (j-1) -th predicted image and the current image from the change area. A j-th motion estimation unit for calculating a motion, and a motion for combining the first motion parameter to the (j-1) th motion parameter and the j-th motion parameter to calculate a composite motion parameter. A motion compensating apparatus comprising: a parameter synthesizing unit; and a j-th motion compensating unit that generates a j-th predicted image that has been motion-compensated for the first reference image using the synthetic motion parameter.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11801693A JP3123857B2 (en) | 1993-05-20 | 1993-05-20 | Motion compensation method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11801693A JP3123857B2 (en) | 1993-05-20 | 1993-05-20 | Motion compensation method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06334992A true JPH06334992A (en) | 1994-12-02 |
| JP3123857B2 JP3123857B2 (en) | 2001-01-15 |
Family
ID=14725977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11801693A Expired - Fee Related JP3123857B2 (en) | 1993-05-20 | 1993-05-20 | Motion compensation method and apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3123857B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100370808C (en) * | 2005-06-13 | 2008-02-20 | 北京中星微电子有限公司 | Sports detecting method |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101623627B1 (en) | 2013-11-19 | 2016-05-23 | 울산대학교 산학협력단 | Apparatus for prevention of fur and feather |
-
1993
- 1993-05-20 JP JP11801693A patent/JP3123857B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100370808C (en) * | 2005-06-13 | 2008-02-20 | 北京中星微电子有限公司 | Sports detecting method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3123857B2 (en) | 2001-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7440619B2 (en) | Image matching method and image interpolation method using the same | |
| US8958484B2 (en) | Enhanced image and video super-resolution processing | |
| JP2978406B2 (en) | Apparatus and method for generating motion vector field by eliminating local anomalies | |
| US5686973A (en) | Method for detecting motion vectors for use in a segmentation-based coding system | |
| CN100372381C (en) | Pattern analysis-based motion vector compensation apparatus and method | |
| JPH10285602A (en) | Dynamic sprite for encoding video data | |
| JP3781194B2 (en) | Motion vector field coding | |
| JPH11355778A (en) | Motion field estimation method | |
| JP2005204066A (en) | Method and device for generating interpolated image | |
| JPH08265781A (en) | Method and apparatus for determining movement vector | |
| US8374247B2 (en) | Method and system for hierarchical motion estimation with multi-layer sub-pixel accuracy and motion vector smoothing | |
| JP4887376B2 (en) | A method for obtaining a dense parallax field in stereo vision | |
| CN111028282A (en) | Unsupervised pose and depth calculation method and system | |
| US20110051005A1 (en) | Method And Apparatus For Integrated Motion Compensated Noise Reduction And Frame Rate Conversion | |
| US6930728B2 (en) | Scan conversion apparatus | |
| US20060098886A1 (en) | Efficient predictive image parameter estimation | |
| CN112270691A (en) | Monocular video structure and motion prediction method based on dynamic filter network | |
| JP4517409B2 (en) | Data processing apparatus and data processing method | |
| EP1906357A1 (en) | Combined optimization of motion estimator and super-resolution | |
| KR100955415B1 (en) | Method, computer program product and integrated circuit for providing a motion parameter set or a picture repetition pattern, and computer for providing a motion parameter | |
| US20080144716A1 (en) | Method For Motion Vector Determination | |
| JP2004356747A (en) | Method and apparatus for matching image | |
| US6285712B1 (en) | Image processing apparatus, image processing method, and providing medium therefor | |
| JP3123857B2 (en) | Motion compensation method and apparatus | |
| JP2006521740A (en) | Motion vector determination method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |