JP4179089B2 - Motion estimation method for motion image interpolation and motion estimation device for motion image interpolation - Google Patents
Motion estimation method for motion image interpolation and motion estimation device for motion image interpolation Download PDFInfo
- Publication number
- JP4179089B2 JP4179089B2 JP2003279703A JP2003279703A JP4179089B2 JP 4179089 B2 JP4179089 B2 JP 4179089B2 JP 2003279703 A JP2003279703 A JP 2003279703A JP 2003279703 A JP2003279703 A JP 2003279703A JP 4179089 B2 JP4179089 B2 JP 4179089B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- interpolation
- temporary
- image
- predetermined region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
本発明は動画像補間用動き推定方法及び動画像補間用動き推定装置に係り、特に動画像を自然な動きで高画質に表示する場合、入来動画像信号の画像レートと異なった画像レートの動画像信号や、インターレース走査画像から順次走査画像を得るために、元の動画像信号に存在しないフレーム・フィールド・走査線を、入来動画像信号から補間して形成し、動画像の実効フレーム(フィールド)レートや走査線構造を変更する動画像補間用動き推定方法及び動画像補間用動き推定装置に関する。 The present invention relates to a motion estimation method for motion image interpolation and a motion estimation device for motion image interpolation, and in particular, when a motion image is displayed with high quality with natural motion, an image rate different from the image rate of an incoming motion image signal. In order to obtain sequentially scanned images from moving image signals and interlaced scanned images, frames, fields, and scanning lines that do not exist in the original moving image signal are formed by interpolating from the incoming moving image signal, and an effective frame of the moving image is formed. The present invention relates to a motion estimation method for motion image interpolation and a motion estimation device for motion image interpolation that change a rate and a scanning line structure.
まず、動画像の時間軸補間と走査線構造変換について説明する。動画像信号である通常のNTSC方式のテレビ信号は、インターレース走査で毎秒60フィールドなので、動画像の動きのスムーズさにおいてあまり問題はない。これに対し、映画など毎秒24駒ないし30駒のフィルム映像や、毎秒30フレームの順次走査で作られたコンピュータグラフィックス画像などは、動きの不自然さ(ジャダー、ジャーギネス)がある。 First, the time axis interpolation and scanning line structure conversion of moving images will be described. Since a normal NTSC television signal, which is a moving image signal, is 60 fields per second in interlace scanning, there is not much problem in the smoothness of the moving image. On the other hand, film images of 24 to 30 frames per second such as movies and computer graphics images created by sequential scanning at 30 frames per second have unnatural movement (judder and jerseyness).
一方、PAL方式やSECAM方式のテレビ信号は、インターレース走査で毎秒50フィールドなので、NTSC方式のテレビで放送や表示するためには、毎秒60フィールドに変換する必要がある。また、PAL方式やSECAM方式は、フィールド周波数が低いので、画面全体でのフリッカが問題となり、表示においては50フィールドではなく、100フィールドに変換することが望まれる。 On the other hand, since PAL and SECAM television signals are 50 fields per second by interlace scanning, it is necessary to convert them to 60 fields per second for broadcasting and display on NTSC televisions. In addition, since the PAL method and the SECAM method have a low field frequency, flickering on the entire screen becomes a problem, and it is desired that the display is converted to 100 fields instead of 50 fields.
このように、入来動画像信号を異なった画像レートの動画像信号に変換する場合、画像の動きが自然であることが望まれる。そのため、動き補償補間して時間的に存在しないフレームやフィールドを形成し、スムーズな動きで実効画像レートを変化させる動き補償を行う動画像レート変換方法(動画像補間用動き推定方法)は、従来より知られている(例えば、特許文献1参照)。 As described above, when an incoming moving image signal is converted into a moving image signal having a different image rate, it is desired that the motion of the image is natural. Therefore, a moving image rate conversion method (moving image interpolation motion estimation method) that performs motion compensation that forms a frame or field that does not exist in time by motion compensation interpolation and changes the effective image rate with a smooth motion is a conventional method. (For example, refer to Patent Document 1).
すなわち、特許文献1には、画像信号に基づいてブロック単位動きベクトルを探索し、ブロック単位動きベクトルに基づいて画素単位動きベクトルを生成し、画素単位動きベクトルに基づいて生成した画像信号の内挿フレーム又は画像信号のフレームの信号で生成した画像信号の内挿フレームを用いて画像信号のフレーム数を変換する方法が開示されている。
That is, in
また、画像を液晶やプラズマディスプレイで表示したり、動画像フォーマットを変換したり、高能率符号化で高い効率を得るため、インターレース走査画像を順次(プログレッシブ)走査画像に変換する。この場合は、インターレース走査で間引かれている走査線を、時間的に前後するフィールドの走査線や上下の走査線から補間して、順次走査の画像信号を形成する。 In addition, in order to display an image on a liquid crystal or plasma display, convert a moving image format, or obtain high efficiency by high-efficiency encoding, an interlaced scanned image is converted into a progressively scanned image. In this case, the scanning lines thinned out by the interlace scanning are interpolated from the scanning lines of the fields that are temporally forward and backward, and the upper and lower scanning lines, thereby forming image signals for sequential scanning.
次に、従来の動画像補間用動き推定について説明する。図9は従来の動画像補間用動き推定装置の一例のブロック図を示す。同図において、画像入力端子1より入来する画像信号は、動き補償器2に供給されると同時に、フレーム遅延器3により略1フレーム分遅延された後動き補償器4に供給される。
Next, the conventional motion estimation for moving image interpolation will be described. FIG. 9 is a block diagram showing an example of a conventional motion estimation apparatus for moving image interpolation. In the figure, the image signal coming from the
動き補償器2は、入力された画像信号を仮動きベクトル(MV)設定器5からの仮MVに従って空間的に移動させる。動き補償器4は、フレーム遅延器3の出力である略1フレーム遅延した画像信号を、仮MV設定器5からの仮MVに従って空間的に移動させる。ここで、両方の動き補償器2及び4に供給される仮MVは共通であるが、移動させる方向は動き補償器2と動き補償器4で逆となる。仮MV設定器5は、予め設定された仮MVの情報を動き補償器2及び4とMV判定器8に与える。
The
動き補償器2で動き補償された入力画像信号と、動き補償器4で逆向きに動き補償された1フレーム遅延画像信号は減算器6で減算され、差分信号となる。この差分信号は、マッチング検出器7で絶対値化された後に、所定ブロック単位で加算され、当該仮MVでのブロックのマッチング値となる。ここでブロックは8×8画素などであるが、より細かなブロックの場合や、方形でない場合もある。
The input image signal motion-compensated by the
マッチング検出器7から出力されたブロックマッチング値は、仮MV毎に仮MV設定器5から出力された予め設定された仮MVと共に、MV判定器8に入力され、当該ブロックにおける仮MV毎のマッチング値が比較され、最も小さな値となる仮MVが最終的にMVとして判定される。
The block matching value output from the
しかるに、従来の動画像補間用動き推定は、動き推定探索範囲の拡大に伴いマッチングを求める画像が変わることになるので、マッチングを求める対象が平坦な画像となる動きベクトルでは、マッチング値が小さくなりがちで、逆に空間的に変化の激しい画像となる動きベクトルでは、マッチング値が大きくなりがちとなり、適正な動き推定が行い難い。特に、平坦な画像の前に小さいか細いオブジェクトがあると、オブジェクトより平坦な背景間の方がマッチング良好となり、背景で補間画像が形成されてしまうといった問題がある。 However, in the conventional motion image interpolation motion estimation, the image for which matching is to be determined changes as the motion estimation search range is expanded, so that the matching value is small for a motion vector in which the target for matching is a flat image. On the other hand, in a motion vector that is an image that changes spatially, the matching value tends to be large, and it is difficult to perform proper motion estimation. In particular, when there is a small or thin object in front of a flat image, there is a problem that a flat background has better matching than the object, and an interpolated image is formed with the background.
なお、画像符号化などでは、被符号化フレームのブロックは仮MVによらず同じなので、この様な問題は起こらないが、補間ではマッチングをとる両方の画像が仮MVによって変化するのでこのような問題を生じる。 In image coding and the like, since the block of the frame to be encoded is the same regardless of the temporary MV, such a problem does not occur. However, in interpolation, both images to be matched change depending on the temporary MV. Cause problems.
本発明は以上の点に鑑みなされたもので、動き推定の各仮動きベクトルで補間参照画像の当該部分の空間活性度を求め、画像間のマッチングを活性度で正規化した後に比較することで、背景が平坦な画像などでも適正な動きベクトルが求められる動画像補間用動き推定方法及び動画像補間用動き推定装置を提供することを目的とする。 The present invention has been made in view of the above points, and by obtaining the spatial activity of the corresponding part of the interpolation reference image with each temporary motion vector of motion estimation, and comparing the comparison after normalizing the matching between the images with the activity. Another object of the present invention is to provide a motion estimation method for motion image interpolation and a motion estimation device for motion image interpolation in which an appropriate motion vector is obtained even for an image with a flat background.
上記の目的を達成するため、本発明の動画像補間用動き推定方法は、入来する動画像に対して、所定領域毎に動き補償を行って時間軸補間画像を形成するための動きベクトルを生成する動画像補間用推定方法において、各所定領域において探索範囲の複数の仮動きベクトルを設定する第1のステップと、複数の仮動きベクトルのそれぞれにおいて、動き補償補間に用いる複数の参照画像間における所定領域間のマッチング値を算出する第2のステップと、複数の仮動きベクトルのそれぞれにおいて、動き補償補間に用いる各前記参照画像における動き補償を行う所定領域の空間活性度を算出する第3のステップと、マッチング値を所定領域の空間活性度に基づき正規化して正規化済みマッチング値を得る第4のステップと、所定領域において各仮動きベクトル毎に、正規化済みマッチング値を比較して、最小値を与える仮動きベクトルを所定領域における動きベクトルとする第5のステップとを含むことを特徴とする。 In order to achieve the above object, the motion estimation method for motion image interpolation according to the present invention performs motion compensation on an incoming motion image for each predetermined region to form a motion vector for forming a time axis interpolation image. In the moving image interpolation estimation method to be generated, a first step of setting a plurality of temporary motion vectors in a search range in each predetermined region and a plurality of reference images used for motion compensation interpolation in each of the plurality of temporary motion vectors A second step of calculating a matching value between the predetermined regions in the second step, and a third step of calculating a spatial activity of the predetermined region for performing motion compensation in each of the reference images used for motion compensation interpolation in each of a plurality of temporary motion vectors. A fourth step of normalizing the matching value based on the spatial activity of the predetermined area to obtain a normalized matching value, Each provisional motion vectors, by comparing the normalized matching values, characterized in that it comprises a fifth step of the motion vector of the provisional motion vectors to provide a minimum value in a predetermined region.
また、上記の目的を達成するため、本発明の動画像補間用推定装置は、入来する動画像に対して、所定領域毎に動き補償を行って時間軸補間画像を形成するための動きベクトルを生成する動画像補間用推定装置において、各所定領域において探索範囲の複数の仮動きベクトルを設定する仮動きベクトル設定手段と、複数の仮動きベクトルのそれぞれにおいて、動き補償補間に用いる複数の参照画像間における所定領域間のマッチング値を算出するマッチング値算出手段と、複数の仮動きベクトルのそれぞれにおいて、動き補償補間に用いる各前記参照画像における動き補償を行う所定領域の空間活性度を算出する空間活性度算出手段と、マッチング値を所定領域の空間活性度に基づき正規化して正規化済みマッチング値を得る正規化済みマッチング値算出手段と、所定領域において各仮動きベクトル毎に、正規化済みマッチング値を比較して、最小値を与える仮動きベクトルを所定領域における動きベクトルとして出力する動きベクトル判定手段とを有する構成としたものである。 In order to achieve the above object, the moving image interpolation estimating apparatus according to the present invention performs motion compensation on an incoming moving image for each predetermined area to form a time axis interpolated image. In the estimation apparatus for moving image interpolation that generates a plurality of temporary motion vector setting means for setting a plurality of temporary motion vectors in a search range in each predetermined region, and a plurality of references used for motion compensation interpolation in each of the plurality of temporary motion vectors A matching value calculation means for calculating a matching value between predetermined regions between images, and a spatial activity of a predetermined region for performing motion compensation in each reference image used for motion compensation interpolation in each of a plurality of temporary motion vectors. Spatial activity calculation means and a normalized map that obtains a normalized matching value by normalizing the matching value based on the spatial activity of a predetermined region. And a motion vector determination unit that compares the normalized matching value for each temporary motion vector in a predetermined region and outputs a temporary motion vector that gives a minimum value as a motion vector in the predetermined region. It is what.
本発明の動画像補間用推定方法及び装置では、動画像の動き補償補間において動き推定の各仮動きベクトルで補間参照画像の所定領域の空間活性度を求め、参照画像間における所定領域間のマッチング値を空間活性度で正規化した後に各仮動きベクトル毎に比較して、最小値を与える仮動きベクトルを所定領域における動きベクトルとして出力するようにしたため、空間活性度は小さく、正規化済みマッチング値が大きな補間参照画像の所定領域の平坦部分を動きベクトルとして選択しにくくでき、一方、空間活性度は大きく、正規化済みマッチング値が小さな、補間参照画像の所定領域の空間変化が大きい部分を動きベクトルとして選択し易くできる。 In the estimation method and apparatus for moving picture interpolation according to the present invention, the spatial activity of a predetermined area of an interpolated reference image is obtained by each temporary motion vector of motion estimation in motion compensated interpolation of the moving picture, and matching between the predetermined areas between the reference pictures is performed. After normalizing the value with spatial activity, each temporary motion vector is compared and the temporary motion vector that gives the minimum value is output as the motion vector in the specified area, so the spatial activity is small and normalized matching It is difficult to select a flat part of a predetermined area of the interpolation reference image having a large value as a motion vector, while a part having a large spatial change in the predetermined area of the interpolation reference image having a large spatial activity and a small normalized matching value. It can be easily selected as a motion vector.
本発明によれば、仮動きベクトルによって補間参照画像が平坦部分となる場合は、空間活性度は小さいので、正規化済みマッチング値が大きくなり、参照部分の空間変化が大きい場合は、空間活性度は大きいので、正規化済みマッチング値が小さくなり、正規化済みマッチング値は画像の動きによるマッチングの違いを適切に表現でき、各仮動きベクトル毎に、正規化済みマッチング値を比較して、最小値を与える仮動きベクトルを所定領域における動きベクトルとして出力するようにしたため、より適切な動き推定が可能になる。 According to the present invention, when the interpolated reference image is a flat portion due to the temporary motion vector, the spatial activity is small, so the normalized matching value is large, and when the spatial change of the reference portion is large, the spatial activity is Since the normalized matching value is small, the normalized matching value can appropriately represent the difference in matching due to the motion of the image. For each temporary motion vector, the normalized matching value is compared, and the minimum Since the temporary motion vector that gives a value is output as a motion vector in a predetermined region, more appropriate motion estimation becomes possible.
従って、本発明によれば、平坦な画像の前に小さいが細いオブジェクトがあると、オブジェクトより平坦な背景間の方がマッチング値は正規化でマッチング値が大きくなるので、選択され難くなり、背景で補間画像が形成されてしまうといった問題は回避される。このように、本発明によれば、実際の画像の動きに即した動きベクトルが求められるので、適切な補間画像や補間走査線が形成される。 Therefore, according to the present invention, if there is a small but thin object in front of a flat image, the matching value between the flat backgrounds is larger than that of the object because the matching value is increased by normalization, so that it is difficult to select the background. This avoids the problem of forming an interpolated image. As described above, according to the present invention, since a motion vector corresponding to the actual motion of an image is obtained, an appropriate interpolated image and interpolated scanning line are formed.
次に、本発明の実施の形態について図面と共に説明する。図1は本発明になる動画像補間用動き推定装置の第1の実施の形態のブロック図を示す。同図中、図9と同一構成部分には同一符号を付してある。図1の第1の実施の形態は、図9に示した従来装置に比べて、活性度検出器11及び12と、マッチング正規化器13が追加されている。
Next, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram of a first embodiment of a motion estimation apparatus for moving picture interpolation according to the present invention. In the figure, the same components as those in FIG. 9 are denoted by the same reference numerals. In the first embodiment shown in FIG. 1,
本実施の形態の動作について、毎秒30フレーム(30fps)の順次(プログレッシブ)走査画像信号を毎秒60フレーム(60fps)の順次走査画像信号に変換する場合を例にとって説明する。図1において、画像入力端子1より入来する30fpsの順次走査画像信号は、動き補償器2に供給されると同時に、フレーム遅延器3により略1フレーム分遅延された後動き補償器4に供給される。
The operation of this embodiment will be described by taking as an example the case of converting a progressive scan image signal of 30 frames per second (30 fps) into a progressive scan image signal of 60 frames per second (60 fps). In FIG. 1, a 30 fps progressively scanned image signal coming from the
動き補償器2は、入力された画像信号を仮動きベクトル(MV)設定器5からの仮MVに従って空間的に移動させる。動き補償器4は、フレーム遅延器3の出力である略1フレーム遅延した画像信号を、仮MV設定器5からの仮MVに従って空間的に移動させる。ここで、両方の動き補償器2及び4に供給される仮MVは共通であるが、移動させる方向は動き補償器2と動き補償器4で逆となる。仮MV設定器5は、各ブロックの動き推定において、予め設定されたサーチレンジ内の仮MVを動き補償器2、4とMV判定器8に与える。
The
動き補償器2で動き補償された入力画像信号と、動き補償器4で逆向きに動き補償された1フレーム遅延画像信号は減算器6で減算され、差分信号となる。この差分信号は、マッチング検出器7で絶対値化された後に、所定ブロック単位で加算され、当該仮MVでのブロックのマッチング値となる。それぞれのマッチング値は、マッチング正規化器13に与えられる。
The input image signal motion-compensated by the
一方、動き補償器2及び4においてそれぞれ動き補償されたそれぞれの画像信号は、活性度検出器11、12にも供給される。活性度検出器11、12は、動き補償器2、4において動き補償されたブロック内画素の空間活性度(アクティビティ)を求める。この活性度はブロック内画素値の標準値差や近隣差分の絶対値である。
On the other hand, the respective image signals subjected to motion compensation in the
近隣差分の取り方としては、図2(a)のような隣接画素間の差分(1画素差分)、図2(b)のような一つ離れた画素間の差分(2画素差分)などが考えられる。また、この処理は仮MV毎に求めなければならないので、処理量軽減のために簡略化して、図2(c)のような間引きでもよい。 As a method of taking the neighborhood difference, there are a difference between adjacent pixels (one pixel difference) as shown in FIG. 2A, a difference between two pixels apart as shown in FIG. 2B (two pixel difference), and the like. Conceivable. Further, since this process must be obtained for each provisional MV, it may be simplified to reduce the processing amount, and thinning as shown in FIG.
さらに、単純な差分でなく、HPF(高域通過フィルタ)で高い周波数成分を抽出してもよい。いずれの差分値や高い周波数成分の信号も絶対値化され、ブロック内で加算され、当該仮MVでの活性度となる。 Furthermore, instead of a simple difference, a high frequency component may be extracted by an HPF (High Pass Filter). Any difference value or high frequency component signal is converted into an absolute value and added in the block, and the degree of activity in the provisional MV is obtained.
マッチング正規化器13は、(1)式に示すように、活性度検出器11から与えられる入力画像の活性度Abと、活性度検出器12から与えられる1フレーム遅延画像の活性度Afとを加算し、当該仮MVの空間活性度A’を得る。
The matching
A’=Af+Ab (1)
ここで、正規化の分母となる空間活性度Aは、仮MVの空間活性度A’が下限値ALより大きいときにはA’の値とされるが、仮MVの空間活性度A’が下限値AL以下であるときには下限値ALで制限される。又は下限値ALを仮MVの空間活性度A’に加算して空間活性度Aを得てもよい。これは活性度が低く、仮MVの空間活性度A’の値がノイズ成分程度の場合に、正規化処理が不安定になるのを避けるためである。以上のことを式で表すと、次のようになる。
A ′ = Af + Ab (1)
Here, the spatial activity A as a denominator of normalization is set to a value of A ′ when the spatial activity A ′ of the temporary MV is larger than the lower limit AL, but the spatial activity A ′ of the temporary MV is a lower limit. When it is below AL, it is limited by the lower limit AL. Alternatively, the space activity A may be obtained by adding the lower limit AL to the space activity A ′ of the temporary MV. This is to prevent the normalization process from becoming unstable when the activity is low and the value of the spatial activity A ′ of the temporary MV is about the noise component. The above can be expressed as follows.
A=AL (AL≧A’のとき)
A=A’ (AL<A’のとき)
または、
A=A’+AL
A = AL (when AL ≥ A ')
A = A '(when AL <A')
Or
A = A '+ AL
続いて、マッチング正規化器13は、空間活性度Aでマッチング値Cを正規化し、正規化後マッチング値NCを次式により得る。
NC=C/A (2)
この正規化後マッチング値NCは、仮MV毎にMV判定器8に入力され、当該ブロックにおける仮MV毎のマッチング値が比較され、最も小さな値となる仮MVが最終的にMVとして判定される。
Subsequently, the matching
NC = C / A (2)
The normalized matching value NC is input to the
次に、本発明の第1の実施の形態である動画像補間用の動き推定を用いたフレーム補間について説明する。その構成例を図3に示す。ここで、フレーム補間は毎秒30フレームの順次走査画像信号を毎秒60フレームの順次走査画像信号に変換するものである。 Next, frame interpolation using motion estimation for moving image interpolation according to the first embodiment of the present invention will be described. An example of the configuration is shown in FIG. Here, the frame interpolation is to convert a progressively scanned image signal of 30 frames per second into a progressively scanned image signal of 60 frames per second.
このフレーム補間の様子を図4に示す。図4で一つの円は1画素であり、縦の連続は、走査線の一部または垂直方向の画素列を示す。また、実線で示された画素は毎秒30フレームの入来動画像信号であり、破線で示された画素は補間された画像信号である。矢印が動き補償補間である。 The state of this frame interpolation is shown in FIG. In FIG. 4, one circle is one pixel, and the vertical continuation indicates a part of the scanning line or a pixel row in the vertical direction. Also, the pixels indicated by the solid line are incoming moving image signals at 30 frames per second, and the pixels indicated by the broken line are interpolated image signals. The arrow is motion compensation interpolation.
図3において、画像入力端子1より入来した毎秒30フレーム(30fps)順次走査の動画像信号は、動き推定器31及び動き補償器32に直接に供給される一方、フレーム遅延器3で略1フレーム分遅延された後、動き推定器31及び動き補償器33に供給される。動き推定器31は、図1に示した構成により動きベクトルMVを推定する。
In FIG. 3, a moving image signal of 30 frames per second (30 fps) progressive scanning coming from the
動き補償器32は入力画像信号を動き推定器31からのMVに従って空間的に移動させる。動き補償器33は1フレーム遅延画像信号を動き推定器31からのMVに従って空間的に移動させる。動き補償器32で動き補償された画像信号と、動き補償器33で逆向きに動き補償された画像信号は加算器34で加算された後、2で除算されて補間画像信号となり、フレームバッファ36に与えられる。
The
フレームバッファ36は加算器34から出力された1フレーム分の画像信号を蓄え、蓄えられた画像信号は2倍の速度で読み出される。同様に入来動画像信号もフレームバファ35に蓄えられ、2倍の速度で読み出される。入来動画像信号の1フレームの時間で、フレームバッファ35に保持されている入来動画像信号と、フレームバッファ36に保持されている補間画像信号の両方が交互に読み出され、2倍の画像レートである60fpsの動画像信号として出力される。
The
実施の形態におけるフレーム補間の様子を図5に示す。図5は図4と同様であるが、各円の濃淡は画素値であり、画像は時間と共に穏やかに動いている。図5(a)は、正しい動きベクトルによるフレーム補間の場合で動きに適合しているが、図5(b)は誤った動きベクトルによるフレーム補間の場合で動きに適合していない。従来手法では単純にマッチングのみにより判断するので、図5(a)は正しい動きであっても、微小な移動量のずれや折り返し歪み成分により多少の誤差を生じる。 FIG. 5 shows a state of frame interpolation in the embodiment. FIG. 5 is similar to FIG. 4 except that the shade of each circle is a pixel value, and the image moves gently with time. 5A is suitable for motion in the case of frame interpolation using a correct motion vector, but FIG. 5B is not suitable for motion in the case of frame interpolation using an incorrect motion vector. In the conventional method, since the determination is made simply by matching, even if the movement shown in FIG. 5 (a) is correct, a slight error occurs due to a slight shift of the moving amount and aliasing distortion component.
一方、図5(b)は、いずれも全くの平坦部なので、マッチング誤差は少ない。このような場合、マッチング誤差で判断する従来手法では図5(b)が最終的なMVとして選択される。これに対し、前述した空間活性度は図5(a)の方が遥かに大きいので、本実施の形態のように空間活性度で正規化されたマッチング値は、図5(a)の方が少なくなり、本実施の形態によれば、図5(a)の正しいMVが選択される。 On the other hand, since FIG. 5B is a completely flat portion, the matching error is small. In such a case, FIG. 5B is selected as the final MV in the conventional method of determining based on the matching error. On the other hand, the spatial activity described above is much larger in FIG. 5A, and the matching value normalized by the spatial activity as in the present embodiment is that in FIG. 5A. According to the present embodiment, the correct MV in FIG. 5A is selected.
なお、上記実施の形態は30fpsから60fpsへの変換なので、補間画像の時間が入来画像の中央となり、加算画像は均等加算で得ている。しかし、例えば50fpsから60fpsへの変換などでは、補間画像は必ずしも時間的に中央で無いので、加算は時間距離に応じて線形内挿などにしてもよい。なお、その場合は動きベクトルの移動量の関係も、時間関係に応じて異なったものとなる。 In the above embodiment, since the conversion is from 30 fps to 60 fps, the interpolation image time is the center of the incoming image, and the added image is obtained by equal addition. However, for example, in the conversion from 50 fps to 60 fps, the interpolated image is not necessarily centered in time, so the addition may be linear interpolation or the like according to the time distance. In this case, the relationship between the movement amounts of the motion vectors also differs depending on the time relationship.
次に、本発明の第2の実施の形態の動画像補間用動き推定について説明する。図6は本発明になる動画像補間用動き推定装置の第2の実施の形態のブロック図を示す。同図中、図1と同一構成部分には同一符号を付してある。図6の第2の実施の形態は、図1の第1の実施の形態に対して、活性度メモリ23及び24が追加されており、活性度検出器21及び22の入力画像と動作速度が異なる。
Next, motion estimation for moving image interpolation according to the second embodiment of the present invention will be described. FIG. 6 shows a block diagram of a second embodiment of a motion estimation apparatus for moving image interpolation according to the present invention. In the figure, the same components as those in FIG. In the second embodiment of FIG. 6,
図6の第2の実施の形態は、図1の第1の実施の形態と同様に、毎秒30フレーム(30fps)の順次(プログレッシブ)走査画像信号を毎秒60フレーム(60fps)の順次走査画像信号に変換する場合である。第1実施の形態では、動き補償されたブロックに対して仮MV毎に活性度を求めていたが、この第2実施の形態は、入来画像と1フレーム遅延画像に対してあらかじめ活性度を求めておき、仮MVに応じて活性度メモリ23、24から動き補償ブロックに相当する活性度を読み出す。
The second embodiment of FIG. 6 is similar to the first embodiment of FIG. 1 in that a progressive scan image signal of 30 frames per second (30 fps) is converted into a progressive scan image signal of 60 frames per second (60 fps). It is a case to convert to. In the first embodiment, the degree of activity is obtained for each provisional MV with respect to the motion compensated block. However, in the second embodiment, the degree of activity is previously set for the incoming image and the one-frame delayed image. The degree of activity corresponding to the motion compensation block is read from the degree-of-
図6において、画像入力端子1より入来する30fpsの順次走査信号は、動き補償器2と活性度検出器21にそれぞれ供給されると同時に、フレーム遅延器3により略1フレーム分遅延された後動き補償器4と活性度検出器22にそれぞれ供給される。動き補償器2及び4、減算器6、マッチング検出器7の動作は図1と同様で、各仮MVでマッチング値を得る。
In FIG. 6, the 30 fps progressive scanning signal coming from the
一方、活性度検出器21、22の動作は、基本的には図1の活性度検出器11、12と同様であるが、仮MV毎に活性度を求めるのではなく、入力画像に対して1画素単位でブロックを移動させながら、全画素に対して活性度を求めていく。求められた活性度は画素毎の情報として活性度メモリ23、24に与えられる。
On the other hand, the operations of the
活性度メモリ23、24は供給された活性度情報を1画素毎に保持し、処理ブロック位置と仮MV設定器5からの仮MVとから、該当する動き補償ブロックの活性度を読み出し、マッチング正規化器13にそれぞれ供給する。マッチング正規化器13、MV判定器8の動作は図1の第1の実施の形態と同じである。
The
図6の第2実施の形態の場合、1フレームの補間において1フレームの画素数だけ、処理が必要となるが、第1の実施の形態のように仮MV毎に求めた場合、(ブロック数)×(仮MV数)の処理が必要になるので、1ブロック内の画素数が仮MV数より少なければ、第2の実施の形態の方が処理量は少なくなる。例えば、ブロックが8×8画素、仮MVがサーチレンジ15画素×15画素(水平±7画素×垂直±7画素)で1画素精度なら、処理量の比は、(第2実施の形態)/(第1実施の形態)が64/225となる。すなわち、この場合は、第2の実施の形態の方が第1の実施の形態よりも処理量が少ない。 In the case of the second embodiment of FIG. 6, processing is required for the number of pixels of one frame in the interpolation of one frame, but when it is obtained for each temporary MV as in the first embodiment, ) × (temporary MV number) processing is required, so if the number of pixels in one block is less than the temporary MV number, the processing amount of the second embodiment is smaller. For example, if the block is 8 × 8 pixels, the provisional MV is 15 pixels × 15 pixels (horizontal ± 7 pixels × vertical ± 7 pixels), and the accuracy is 1 pixel, the ratio of the processing amount is (second embodiment) / The first embodiment is 64/225. That is, in this case, the processing amount of the second embodiment is smaller than that of the first embodiment.
次に、本発明の第3の実施の形態の動画像補間用動き推定について説明する。その構成図は図1に示した第1の実施の形態と同じであるので図示を省略する。本実施の形態が第1の実施の形態と異なるのは、対象画像信号と各部の具体的処理内容であり、第3の実施の形態は毎秒60フィールドの飛越し(インターレース)走査画像信号を毎秒60フレームの順次(プログレッシブ)走査画像信号に変換するためのものある。 Next, motion estimation for moving image interpolation according to the third embodiment of the present invention will be described. The configuration diagram is the same as that of the first embodiment shown in FIG. This embodiment is different from the first embodiment in the target image signal and the specific processing contents of each part. In the third embodiment, an interlaced scanning image signal of 60 fields per second is received every second. It is for conversion into a 60 frame progressive (progressive) scanned image signal.
この場合、補間対象は順次走査に対してインターレース走査で欠落している走査線であり、時間的には既存フィールドと同じ位置に前後のフィールドから補間する。従って、第3の実施の形態では、入来画像信号はインターレース走査画像信号であり、図1の動き補償器2及び4、活性度検出器11及び12、減算器6、マッチング検出器7で処理される信号は、インターレース走査の1フィールドにおけるものとなる。
In this case, the interpolation target is a scanning line that is missing in the interlaced scanning with respect to the sequential scanning, and is temporally interpolated from the preceding and succeeding fields at the same position as the existing field. Therefore, in the third embodiment, the incoming image signal is an interlaced scanning image signal, which is processed by the
一方、フレーム遅延器3は、2フィールド遅延させる必要があるので、そのままフレーム遅延を行う。マッチング正規化器13、MV判定器8の動作は図1の第1の実施の形態と同じである。
On the other hand, since the
次に、第3の実施の形態である動画像補間用の動き推定を用いた走査線補間(順次走査への変換)について説明する。その構成例を図7に示す。毎秒60フィールドの飛越し(インターレース)走査画像信号を毎秒60フレームの順次(プログレッシブ)走査画像信号に変換するものであり、この走査線補間の様子を図8に示す。図8で一つの円は走査線であり、縦の連続はフィールドを示す。また、実線で示された画素は毎秒60フィールドの入来インターレース走査画像信号であり、破線で示された画素は補間された走査線である。矢印が動き補償補間である。 Next, scanning line interpolation (conversion to sequential scanning) using motion estimation for moving image interpolation according to a third embodiment will be described. An example of the configuration is shown in FIG. The interlaced scanning image signal of 60 fields per second is converted into a progressive scanning image signal of 60 frames per second, and the state of this scanning line interpolation is shown in FIG. In FIG. 8, one circle is a scanning line, and a vertical continuation indicates a field. Also, the pixels indicated by solid lines are incoming interlaced scanning image signals of 60 fields per second, and the pixels indicated by broken lines are interpolated scanning lines. The arrow is motion compensation interpolation.
図7において、画像入力端子41より入来した毎秒60フィールドのインターレース走査画像信号は、動き推定器42及び動き補償器43にそれぞれ供給される一方、縦続接続されたフィールド遅延器44及び45により計略2フィールド分遅延されて動き推定器42及び動き補償器46にそれぞれ供給される。また、フィールド遅延器44で略1フィールド遅延された毎秒60フィールドのインターレース走査画像信号は、フィールド内補間器47とラインバッファ48にそれぞれ供給される。
In FIG. 7, an interlaced scanned image signal of 60 fields per second coming from the image input terminal 41 is supplied to a
動き推定器12は、前記第3の実施の形態の動画像補間用の動き推定により得られた動きベクトル(MV)を、動き補償器43及び46にそれぞれ供給する。動き補償器43は入力画像信号を上記のMVに従って空間的に移動させる。他方、動き補償器46は1フレーム(2フィールド)遅延画像信号を、上記のMVに従って空間的に移動させる。
The
両方の動き補償器43及び46に供給されるMVは共通であるが、画像信号を移動させる方向は動き補償器43と動き補償器46で逆となる。動き補償器43で動き補償された画像信号と、動き補償器46で逆向きに動き補償された画像信号は、加算器49で加算され、かつ、2で除算されて補間画像信号となり、乗算器50に供給される。
The MV supplied to both
一方、フィールド内補間器47は、同一フィールドの画面上被補間走査線の上下位置にある走査線から補間画像信号を形成し、その補間信号を乗算器51に供給する。乗算器50で第1の乗算係数と乗算された被補間走査線の前後フィールドから補間された第1の補間画像信号と、乗算器51で第2の乗算係数と乗算された被補間走査線の上下走査線から補間された第2の補間画像信号とは、加算器52に供給されて加算され最終的な補間走査線の第3の補間画像信号としてラインバッファ53に供給される。なお、上記の第1の乗算係数と第2の乗算係数との和は1となるように設定されている。
On the other hand, the
ラインバッファ53は1ライン分の第3の補間画像信号を蓄え、蓄えられた第3の補間画像信号は2倍の速度で読み出される。同様に、フィールド遅延器44の出力である略1フィールド遅延した動画像信号もラインバッファ48に1ライン分蓄えられ、蓄えられた動画像信号が2倍の速度で読み出される。
The
略1フィールド遅延した動画像信号の1ライン時間で、ラインバッファ48に保持されている入来動画像信号と、ラインバッファ53に保持されている補間画像信号が交互に読み出され、スイッチ54により交互に選択されて走査線が2倍の密度のフレームの画像信号が形成される。この画像信号は、毎秒60フレームの順次走査画像信号として画像出力端子55から出力される。
The incoming moving image signal held in the
なお、上記した装置の機能をプログラムによりコンピュータで実現できるようにしてもよい。このプログラムは、記録媒体から読みとられてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。 Note that the functions of the above-described apparatus may be realized by a computer by a program. This program may be read from a recording medium and loaded into a computer, or may be transmitted via a communication network and loaded into a computer.
1、41 画像入力端子
2、4、32、33、43、46 動き補償器
3 フレーム遅延器
5 仮MV設定器
6 減算器
7 マッチング検出器
8 MV判定器
9 MV出力端子
11、12、21、22 活性度検出器
13 マッチング正規化器
23、24 活性度メモリ
31、42 動き推定器
38、55 画像出力端子
34、49、52 加算器
35、36 フレームバッファ
44、45 フィールド遅延器
47 フィールド内補間器
48、53ラインバッファ
50、51 乗算器
54 スイッチ
DESCRIPTION OF
Claims (2)
各所定領域において探索範囲の複数の仮動きベクトルを設定する第1のステップと、
前記複数の仮動きベクトルのそれぞれにおいて、動き補償補間に用いる複数の参照画像間における所定領域間のマッチング値を算出する第2のステップと、
前記複数の仮動きベクトルのそれぞれにおいて、動き補償補間に用いる各前記参照画像における動き補償を行う所定領域の空間活性度を算出する第3のステップと、
前記マッチング値を前記所定領域の空間活性度に基づき正規化して正規化済みマッチング値を得る第4のステップと、
前記所定領域において前記各仮動きベクトル毎に、前記正規化済みマッチング値を比較して、最小値を与える仮動きベクトルを該所定領域における前記動きベクトルとする第5のステップと
を含むことを特徴とする動画像補間用推定方法。 In the moving image interpolation estimation method for generating a motion vector for forming a time-axis interpolated image by performing motion compensation for each predetermined region for an incoming moving image,
A first step of setting a plurality of temporary motion vectors in a search range in each predetermined region;
A second step of calculating a matching value between predetermined regions between a plurality of reference images used for motion compensation interpolation in each of the plurality of temporary motion vectors;
A third step of calculating a spatial activity of a predetermined region for performing motion compensation in each of the reference images used for motion compensation interpolation in each of the plurality of temporary motion vectors;
A fourth step of normalizing the matching value based on the spatial activity of the predetermined region to obtain a normalized matching value;
A fifth step of comparing the normalized matching values for each of the temporary motion vectors in the predetermined region and setting a temporary motion vector that gives a minimum value as the motion vector in the predetermined region. An estimation method for moving image interpolation.
各所定領域において探索範囲の複数の仮動きベクトルを設定する仮動きベクトル設定手段と、
前記複数の仮動きベクトルのそれぞれにおいて、動き補償補間に用いる複数の参照画像間における所定領域間のマッチング値を算出するマッチング値算出手段と、
前記複数の仮動きベクトルのそれぞれにおいて、動き補償補間に用いる各前記参照画像における動き補償を行う所定領域の空間活性度を算出する空間活性度算出手段と、
前記マッチング値を前記所定領域の空間活性度に基づき正規化して正規化済みマッチング値を得る正規化済みマッチング値算出手段と、
前記所定領域において前記各仮動きベクトル毎に、前記正規化済みマッチング値を比較して、最小値を与える仮動きベクトルを該所定領域における前記動きベクトルとして出力する動きベクトル判定手段と
を有することを特徴とする動画像補間用推定装置。
In the moving image interpolation estimating device for generating a motion vector for forming a time-axis interpolated image by performing motion compensation for each predetermined region with respect to an incoming moving image,
Provisional motion vector setting means for setting a plurality of provisional motion vectors in the search range in each predetermined region;
In each of the plurality of provisional motion vectors, a matching value calculation unit that calculates a matching value between predetermined regions between a plurality of reference images used for motion compensation interpolation;
In each of the plurality of provisional motion vectors, spatial activity calculation means for calculating the spatial activity of a predetermined region for performing motion compensation in each reference image used for motion compensation interpolation;
Normalized matching value calculation means for normalizing the matching value based on the spatial activity of the predetermined region to obtain a normalized matching value;
Motion vector determination means for comparing the normalized matching value for each temporary motion vector in the predetermined region and outputting a temporary motion vector that gives a minimum value as the motion vector in the predetermined region. A feature estimation apparatus for video interpolation.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003279703A JP4179089B2 (en) | 2003-07-25 | 2003-07-25 | Motion estimation method for motion image interpolation and motion estimation device for motion image interpolation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003279703A JP4179089B2 (en) | 2003-07-25 | 2003-07-25 | Motion estimation method for motion image interpolation and motion estimation device for motion image interpolation |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005045700A JP2005045700A (en) | 2005-02-17 |
JP4179089B2 true JP4179089B2 (en) | 2008-11-12 |
Family
ID=34265733
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003279703A Expired - Fee Related JP4179089B2 (en) | 2003-07-25 | 2003-07-25 | Motion estimation method for motion image interpolation and motion estimation device for motion image interpolation |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4179089B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4322904B2 (en) | 2006-09-19 | 2009-09-02 | 株式会社東芝 | Interpolation frame creation device, motion vector detection device, interpolation frame creation method, motion vector detection method, interpolation frame creation program, and motion vector detection program |
GB2450121A (en) * | 2007-06-13 | 2008-12-17 | Sharp Kk | Frame rate conversion using either interpolation or frame repetition |
JP2011244330A (en) * | 2010-05-20 | 2011-12-01 | Sharp Corp | Frame rate conversion method and device |
JP5498970B2 (en) * | 2011-01-20 | 2014-05-21 | 日本放送協会 | Image reduction device, image enlargement device, and program thereof |
JP5514132B2 (en) * | 2011-02-07 | 2014-06-04 | 日本放送協会 | Image reduction device, image enlargement device, and program thereof |
JP5824937B2 (en) * | 2011-07-26 | 2015-12-02 | 株式会社Jvcケンウッド | Motion vector deriving apparatus and method |
-
2003
- 2003-07-25 JP JP2003279703A patent/JP4179089B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005045700A (en) | 2005-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6118488A (en) | Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection | |
US6900846B2 (en) | Format converter using bi-directional motion vector and method thereof | |
US7667773B2 (en) | Apparatus and method of motion-compensation adaptive deinterlacing | |
US7042512B2 (en) | Apparatus and method for adaptive motion compensated de-interlacing of video data | |
JP4083265B2 (en) | Method and apparatus for converting image signal system | |
JP2832927B2 (en) | Scanning line interpolation apparatus and motion vector detection apparatus for scanning line interpolation | |
EP1387577A2 (en) | Deinterlacing apparatus and method | |
JP5177828B2 (en) | Image rate conversion method and image rate conversion apparatus | |
US20100309372A1 (en) | Method And System For Motion Compensated Video De-Interlacing | |
US7499102B2 (en) | Image processing apparatus using judder-map and method thereof | |
JP2003174628A (en) | Pixel data selection device for motion compensated interpolation and method thereof | |
JP5133038B2 (en) | Image restoration method and image restoration apparatus | |
KR100364762B1 (en) | Apparatus and Method for Progressive Scanning Image Converting, and Apparatus for Vertical Scanning Rate Converting Using the same | |
JPH11112940A (en) | Generation method for motion vector and device therefor | |
US8457206B2 (en) | Method and system for adaptive temporal interpolation filtering for motion compensation | |
US8134643B2 (en) | Synthesized image detection unit | |
JPH11298861A (en) | Method and device for converting frame number of image signal | |
JP4179089B2 (en) | Motion estimation method for motion image interpolation and motion estimation device for motion image interpolation | |
JP4222090B2 (en) | Moving picture time axis interpolation method and moving picture time axis interpolation apparatus | |
JP4244685B2 (en) | Moving picture time axis interpolation method and moving picture time axis interpolation apparatus | |
US6760376B1 (en) | Motion compensated upconversion for video scan rate conversion | |
Chang et al. | Four field local motion compensated de-interlacing | |
JP2003289511A (en) | Image scan converting method and apparatus | |
JP2011223086A (en) | Resolution converting device and method, scanning line interpolating device and method, and video display device and method | |
JP2000156846A (en) | Device and method for converting moving image format |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060331 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080729 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080805 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080818 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130905 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |