JP2760083B2 - Interframe interpolation method - Google Patents
Interframe interpolation methodInfo
- Publication number
- JP2760083B2 JP2760083B2 JP24743889A JP24743889A JP2760083B2 JP 2760083 B2 JP2760083 B2 JP 2760083B2 JP 24743889 A JP24743889 A JP 24743889A JP 24743889 A JP24743889 A JP 24743889A JP 2760083 B2 JP2760083 B2 JP 2760083B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- affine transformation
- time
- coefficient
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
概要 産業上の利用分野 従来の技術と発明が解決しようとする課題 課題を解決するための手段 作用 実施例 発明の効果 〔概要〕 動画像のフレーム間の補間を行う方式，すなわち，離
散的な時刻1,2,・・・n,n＋1,・・・において与えられ
た時系列画像に対して，時刻ｎと，時刻ｎ＋１の間にあ
る任意の時刻ｔの画像を生成する方式に関し、 従来の線型補間方式では、画像中の物体の位置や、形
がフレーム間で大きく変化した場合、該補間された画像
では、元のフレーム間の物体が二重に写ってしまうとい
う問題を解消することを目的とし、 時刻ｎと，時刻ｎ＋１の画像の一次，二次モーメント
を求めて、該原画像を楕円で近似し、上記時刻ｎの近似
楕円から、時刻ｎ＋１の近似楕円に変換する座標変換を
アフィン変換で行うようにして、最初、時刻ｎの近似楕
円の中心を、時刻ｎ＋１の近似楕円の中心に重合わせ、
次に、その楕円の長軸がｘ軸と平行になるように角度Θ
だけ回転させ、更に、この楕円の長軸の長さをΚ倍，短
軸の長さをΛ倍することにより、時刻ｎ＋１における楕
円の長軸，短軸の長さに一致させ、最後に、この楕円を
角度Φだけ回転させることで時刻ｎ＋１における楕円と
一致させるアフィン変換の係数を算出し、この係数を元
に、時刻ｎと，時刻ｎ＋１との間の時刻ｔの座標を、上
記アフィン変換の係数を線型補間して求め、該係数を基
に、時刻n,又は、ｎ＋１の画像の近似楕円にアフィン変
換を施してフレーム間の補間を行うように構成する。 〔産業上の利用分野〕 本発明は、動画像のフレーム間の補間を行う方式，す
なわち，離散的な時刻1,2,・・・n,n＋1,・・・におい
て与えられた時系列画像に対して，時刻ｎと，時刻ｎ＋
１の間にある任意の時刻ｔの画像を生成する方式に関す
る。 現在、マスメディアの１つとして用いられているテレ
ビでは、1/30秒毎の画像を出力して、正確な動画像を表
現しているが、この画像が、例えば、１秒間に10枚しか
出力されないと、目障りな動画像になってしまうことに
なる。 一方、アニメーションの分野では、少しづつ異なる画
像を沢山作成し、上記１秒間に30枚の割合いで出力する
ことで、滑らかな動画像を得ているが、該画像を全部手
で作成することは膨大な作業工数を必要とすることか
ら、中間画像を省いた画像を生成し、該省いた画像を補
間して生成できれば、工数の削減に寄与できる。 又、医療の分野において、例えば、心臓の血流の超音
波画像を連続的に得たい場合でも、現在の超音波診断技
術では、１秒間に30枚の連続した超音波画像を得ること
ができない問題がある。 このような事情から、離散的な時刻n,n＋１において
与えられた画像から、該時刻n,n＋１の間の時刻ｔの画
像を効果的に求めるフレーム間補間方式が必要とされ
る。 〔従来の技術と発明が解決しようとする課題〕 第３図は従来のフレーム間補間方式を説明する図であ
り、（ａ）は時刻ｎと，時刻ｎ＋１の時系列画像の例を
示し、（ｂ）は現状のフレーム間補間方式の問題点を示
している。 離散的な時刻1,2,・・・n,n＋1,・・・において与え
られた時系列画像｛第３図（ａ）参照｝に対して，時刻
ｎと時刻ｎ＋１の間にある任意の時刻ｔの画像を生成す
る場合、従来の動画像補間方式では、時刻ｎにおける画
像と，時刻ｎ＋１における画像の画素毎の濃度を線型に
補間していた。 即ち、時刻ｎにおける画像をＩ（x,y;n），時刻ｎ＋
１における画像をＩ（x,y;n＋１）と表したときに,nと
ｎ＋１の中間の時刻ｔにおいて生成するべき画像Ｊ（x,
y;t）を次式で算出していた。 Ｊ（x,y;t）＝（ｎ＋１−ｔ）Ｉ（x,y;n）＋（ｔ−ｎ）
Ｉ（x,y;n＋１） …………（１） この方式では、画像中の物体の位置や形がフレーム間
で大きく変化した場合に，第３図（ｂ）に示すように、
補間された画像では、該物体の元のフレームの画像から
補間された画像が二重に写ってしまうという問題があっ
た。 本発明は上記従来の欠点に鑑み、動画像のフレーム間
の補間を行う方式，すなわち，離散的な時刻1,2,・・・
n,n＋1,・・・において与えられた時系列画像にたいし
て，時刻ｎと，時刻ｎ＋１の間にある任意の時刻ｔの画
像を生成する際に、画像中の物体の位置や、形がフレー
ム間で大きく変化した場合でも、該補間された画像にお
いて、物体の元のフレーム間の画像から補間された画像
が二重に写ってしまうことがないフレーム間補間方式を
提供することを目的とするものである。 〔課題を解決するための手段〕 第１図は本発明の原理を説明する図であり、（ａ）は
原画像を楕円で近似する為のモーメントの算出例を示
し、（ｂ）は時刻ｎの近似楕円画像をアフィン変換し
て、時刻ｎ＋１の近似楕円画像に近似した時のアフィン
係数（Θ，φ，Κ，Λ，Α，Β）の算出例を示し、
（ｃ）は画像（x,y;n）と，画像（x,y;n＋１）の座標と
アフィン係数との相互関係を示している。 上記の問題点は下記の如くに構成されたフレーム間補
間方式によって解決される。 （１）画像の一次および二次のモーメントを算出するモ
ーメント算出部１と、 ある画像Ａのモーメントと，別の画像Ｂのモーメント
から、それらのモーメントを対応付けるアフィン変換の
係数を算出するアフィン変換係数算出部３と、 これらの係数を定数倍する係数補正部4,50と、 画像アフィン変換を施すアフィン変換実行部60を備
え， 係数補正部4,50によって補正された係数を持つアフィ
ン変換を、上記画像Ａに対して施すように構成する。 （２）画像の一次および二次のモーメントを算出するモ
ーメント算出部１と、 ある画像Ａのモーメントと，別の画像Ｂのモーメント
から、それらのモーメンとを対応付けるアフィン変換の
係数を算出するアフィン変換係数算出部３と、 これらの係数を定数倍する係数補正部4,50,51と、 画像アフィン変換を施すアフィン変換実行部60,61
と、 二枚の画像の線型和を算出する画像合成部７とを備
え， ある定数によって、上記係数補正部50によって補正さ
れた係数を持つアフィン変換を画像Ａに対して施した結
果と，別の定数によって、係数補正部51によって補正さ
れた係数を持つアフィン変換を画像Ｂに対して施した結
果を、上記画像合成部７の入力とし、２つの画像の線型
和（平均値画像）を得るように構成する。 〔作用〕 即ち、本発明は、動画像のフレーム間の補間を行う方
式，すなわち，離散的な時刻1,2,・・・n,n＋1,・・・
において与えられた時系列画像に対して，時刻ｎと，時
刻ｎ＋１の間にある任意の時刻ｔの画像を生成するの
に、任意の画像の一次，二次モーメントを求めることに
より、該原画像の近似楕円画像が得られることと、公知
のアフィン変換が任意画像を「回転」と，「平行移動」
と，「伸縮」により線形に変換できることに着目して、
時刻ｎと，時刻ｎ＋１の原画像の近似楕円を求め、該求
めた２つの近似楕円画像から、２つの画像間のアフィン
係数を算出し、該アフィン係数を元に、該時刻ｎと，時
刻ｎ＋１の間の任意の時刻ｔのアフィン係数を線形補間
して求め、該時刻ｔに対する補正アフィン係数に基づい
て、時刻n,又は，時刻ｎ＋１の原画像にアフィン変換を
施すことで、該時刻ｔの画像を得るようにしたものであ
る。以下、その原理を詳細に説明する。Overview Industrial application field Problems to be solved by conventional technology and invention Means for solving the problem Action Embodiment Effect of the invention [Overview] A method of interpolating between frames of a moving image, ie, discrete time A method for generating an image at an arbitrary time t between time n and time n + 1 for the time-series images given at 1,2,... N, n + 1,. The interpolation method aims to solve the problem that if the position or shape of an object in an image changes greatly between frames, the interpolated image will cause the object between the original frames to be duplicated. The first and second moments of the image at time n and time n + 1 are obtained, the original image is approximated with an ellipse, and the coordinate transformation for transforming the approximate ellipse at time n into an approximate ellipse at time n + 1 is affine transformation. To do at first, Overlapping the center of the approximate ellipse at time n with the center of the approximate ellipse at time n + 1,
Next, the angle Θ is set so that the major axis of the ellipse is parallel to the x-axis.
And by multiplying the length of the major axis of this ellipse by Κ times and the length of the minor axis by Λ times, to match the lengths of the major and minor axes of the ellipse at time n + 1. By rotating the ellipse by an angle Φ, an affine transformation coefficient that matches the ellipse at time n + 1 is calculated. Based on this coefficient, the coordinates of the time t between time n and time n + 1 are converted to the affine transformation. Are obtained by linear interpolation, and based on the coefficients, the approximate ellipse of the image at time n or n + 1 is subjected to affine transformation to perform interpolation between frames. [Industrial Application Field] The present invention relates to a method of interpolating between frames of a moving image, that is, to a time-series image given at discrete times 1, 2,... N, n + 1,. On the other hand, time n and time n +
1 relates to a method of generating an image at an arbitrary time t between 1. At present, televisions used as one of the mass media output images every 1/30 second to express accurate moving images. Otherwise, an unsightly moving image will result. On the other hand, in the animation field, smooth moving images are obtained by creating a lot of slightly different images and outputting them at a rate of 30 images per second, but it is not possible to create all the images by hand. Since an enormous number of work steps are required, if an image in which an intermediate image is omitted can be generated and the omitted image can be generated by interpolation, it can contribute to a reduction in the number of steps. In the medical field, for example, even if it is desired to continuously obtain an ultrasonic image of the blood flow of the heart, the current ultrasonic diagnostic technology cannot obtain 30 continuous ultrasonic images per second. There's a problem. Under such circumstances, there is a need for an inter-frame interpolation method for effectively obtaining an image at time t between times n and n + 1 from images provided at discrete times n and n + 1. [Problems to be Solved by the Related Art and the Invention] FIG. 3 is a diagram for explaining a conventional inter-frame interpolation method. FIG. 3A shows an example of a time series image at time n and time n + 1. b) shows a problem of the current inter-frame interpolation method. With respect to the time-series image {see FIG. 3 (a)} given at discrete times 1, 2,..., N, n + 1,. In the case of generating an image of t, the conventional moving image interpolation method linearly interpolates the density of each pixel of the image at time n and the image at time n + 1. That is, the image at time n is represented by I (x, y; n) and time n +
1 is represented as I (x, y; n + 1), an image J (x, y) to be generated at a time t between n and n + 1
y; t) was calculated by the following equation. J (x, y; t) = (n + 1-t) I (x, y; n) + (t-n)
I (x, y; n + 1) (1) In this method, when the position or shape of an object in an image changes greatly between frames, as shown in FIG.
In the interpolated image, there is a problem that the image interpolated from the image of the original frame of the object is duplicated. In view of the above-mentioned conventional disadvantages, the present invention employs a method for performing interpolation between frames of a moving image, that is, discrete times 1, 2,.
When an image at an arbitrary time t between time n and time n + 1 is generated with respect to the time-series images given at n, n + 1,... It is an object of the present invention to provide an inter-frame interpolation method in which an interpolated image does not appear twice from an image between original frames of an object in the interpolated image even when the interpolated image greatly changes. It is. [Means for Solving the Problems] FIGS. 1A and 1B are diagrams for explaining the principle of the present invention. FIG. 1A shows an example of calculating a moment for approximating an original image with an ellipse, and FIG. An example of calculation of affine coefficients (Θ, φ, Κ, Λ, Α, 時) when affine transformation is performed on the approximate ellipse image of
(C) shows the correlation between the coordinates of the image (x, y; n), the image (x, y; n + 1), and the affine coefficients. The above problem is solved by an inter-frame interpolation method configured as follows. (1) A moment calculating unit 1 for calculating primary and secondary moments of an image, and an affine transformation coefficient for calculating an affine transformation coefficient for associating a moment of one image A and a moment of another image B with those moments A calculation unit 3; coefficient correction units 4 and 50 for multiplying these coefficients by a constant; and an affine transformation execution unit 60 for performing image affine transformation. An affine transformation having the coefficients corrected by the coefficient correction units 4 and 50 is performed. The image A is configured to be applied to the image A. (2) a moment calculating unit 1 for calculating primary and secondary moments of an image, and an affine transformation for calculating a coefficient of an affine transformation for associating moments of a certain image A and moments of another image B with those moments. A coefficient calculation unit 3, coefficient correction units 4, 50, 51 for multiplying these coefficients by a constant, and affine transformation execution units 60, 61 for performing image affine transformation
And an image synthesizing unit 7 for calculating a linear sum of two images. The image synthesizing unit 7 performs an affine transformation on the image A with a coefficient corrected by the coefficient correcting unit 50 using a certain constant. The result obtained by performing an affine transformation having a coefficient corrected by the coefficient correcting unit 51 on the image B using the constant of the above as an input to the image synthesizing unit 7 to obtain a linear sum of two images (an average image). The configuration is as follows. [Operation] That is, the present invention provides a method of performing interpolation between frames of a moving image, that is, discrete times 1, 2,... N, n + 1,.
In order to generate an image at an arbitrary time t between the time n and the time n + 1 with respect to the time-series image given in, the first and second moments of the arbitrary image are obtained. Approximate ellipse image is obtained, and the well-known affine transformation is used to "rotate" and "translate" an arbitrary image.
Focusing on the fact that it can be converted linearly by "stretching"
An approximate ellipse of the original image at time n and time n + 1 is obtained, an affine coefficient between the two images is calculated from the obtained two approximate elliptic images, and the time n and time n + 1 are calculated based on the affine coefficient. Between the time t and the original image at the time n + 1 based on the corrected affine coefficient at the time t. An image is obtained. Hereinafter, the principle will be described in detail.
以下本発明の実施例を図面によって詳述する。 前述の第１図は本発明の原理を説明する図であり、第
２図は本発明の一実施例を示した図であって、原画像の
一次，二次モーメントを求めて該原画像の近似楕円をえ
るモーメント算出部１と，時刻ｎの近似楕円にアフィン
変換を施して、時刻ｎ＋１の近似楕円としたときのアフ
ィン係数（Κ，Λ，Θ，Φ，Α，Β）から、時刻ｔのア
フィン係数を線形補間するアフィン係数補正手段3,4,5
0,51で算出された補正アフィン係数（κ，λ，θ，φ,
a,b）に基づいて、原画像にアフィン変換を施すアフィ
ン変換実行部60,61が、本発明を実施するのに必要な手
段である。尚、全図を通して同じ符号は同じ対象物を示
している。 以下、第１図を参照しながら、第２図によって、本発
明のフレーム間補間方式を説明する。 上記「作用」欄で記した原理に基づいて行う本発明の
フレーム間補間方式の１つは、 画像の一次および二次のモーメントを算出するモーメ
ント算出部１と、 ある画像Ａのモーメントと別の画像Ｂのモーメントか
らそれらのモーメントとを対応付けるアフィン変換の係
数を算出するアフィン変換係数算出部３と、 これらの係数を補正パラメータ設定部４からの指示に
基づいて定数倍する係数補正部50と、 原画像に、アフィン変換を施すアフィン変換実行部60
とを備え、 上記係数補正部50によって補正された係数を持つアフ
ィン変換を画像Ａに対して施すことによって実現でき
る。 又、別の方式は、画像の一次および二次のモーメン
トを算出するモーメント算出部１と、 ある画像Ａのモーメントと，別の画像Ｂのモーメント
からそれらのモーメントとを対応付けるアフィン変換の
係数を算出するアフィン変換係数算出部３と、 これらの係数を、補正パラメータ設定部４からの指示
に基づいて定数倍する係数補正部50,51と、 原画像に対して、アフィン変換を施すアフィン変換実
行部60,61と、 二枚の画像の線形和を算出する画像合成部７を備え， ある定数によって、上記係数補正部50,51によって補
正された係数を持つアフィン変換を画像Ａに対して施し
た結果と，別の定数によって、係数補正部によって補正
された係数を持つアフィン変換を画像Ｂに対して施した
結果を、上記画像合成部７の入力として、２つの結果の
線形和を求めることによって実現できる。 第２図によって、上記の後半の実施例について、その
構成と動作を説明する。 先ず、入力部は時系列的に入力される画像をデジタル
画像に変換する。ディジタル化された画像は画像メモリ
Ｂに転送されるが，そのとき，画像メモリＢに記憶され
ていた画像は画像メモリＡに転送される。 従って，画像メモリＡは時刻ｎにおける画像を保存
し，画像メモリＢは時刻ｎ＋１における画像を保存する
ことになる。 モーメント算出部１は画像メモリＢに保存されている
画像の一次および二次のモーメントを、前述の式（10）
に従って算出する。その結果はモーメントメモリB20に
転送されるが，そのとき、モーメントメモリB20に記憶
されていた画像は、モーメントメモリA21に転送され
る。 従って，モーメントメモリA21は時刻ｎにおける画像
のモーメントを保存し，モーメントメモリB20は時刻ｎ
＋１における画像のモーメントを保存することになる。 アフィン変換係数算出部３は、これらのモーメントか
ら、前述の式（11）−a,b,cによって、時刻ｎの画像
（擬似楕円）を，時刻ｎ＋１の画像（擬似楕円）にアフ
ィン変換したときの係数を算出する。 補正パラメータ設定部４は、時刻ｎと，時刻ｎ＋１の
間のどの時刻の補間画像を生成したいのかを設定する。
たとえばフレーム間に二枚の画像を、等間隔の時間にお
いて補間したい場合は、（1/3,2/3）を設定する。 係数補正部A51はｔ＝ｎ＋1/3,t＝ｎ＋2/3として、前
述の（13）式によってアフィン変換の係数を補正する。
係数補正部B50はｔ＝ｎ＋1/3,t＝ｎ＋2/3として、前述
の（14）式によってアフィン変換の係数を補正する。ア
フィン変換実行部A61,アフィン変換実行部B60では、そ
れぞれ、前述の（12）式によって時刻n,時刻ｎ＋１の画
像に対してアフィン変換を実行し、各時刻ｎとｎ＋１の
画像から時刻ｔの画像を求める。 この結果は、画像合成部７によって、前述の（15）式
に従って合成され、２つのアフィン変換画像の線形和が
求められる。 このようにして、時刻ｎと，時刻ｎ＋１との間の任意
の時刻ｔの画像を、択一的に生成することができる。 〔発明の効果〕 以上、詳細に説明したように、本発明のフレーム間補
間方式は、動画像のフレーム間の補間を行う方式，すな
わち，離散的な時刻1,2,・・・n,n＋1,・・・において
与えられた時系列画像に対して，時刻ｎと，時刻ｎ＋１
の間にある任意の時刻ｔの画像を生成するのに、時刻ｎ
と，時刻ｎ＋１の画像の一次，二次モーメントを求め
て、該原画像を楕円で近似し、上記時刻ｎの近似楕円か
ら、時刻ｎ＋１の近似楕円に変換する座標変換をアフィ
ン変換で行うようにして、最初、時刻ｎの近似楕円の中
心を、時刻ｎ＋１の近似楕円の中心に重合わせ、次に、
その楕円の長軸がｘ軸と平行になるように角度Θだけ回
転させ、更に、この楕円の長軸の長さをΚ倍，短軸の長
さをΛ倍することにより、時刻ｎ＋１における楕円の長
軸，短軸の長さに一致させ、最後に、この楕円を角度φ
だけ回転させることで時刻ｎ＋１における楕円と一致さ
せるアフィン変換の係数を算出し、この係数を元に、時
刻ｎと，時刻ｎ＋１との間の時刻ｔの座標を、上記アフ
ィン変換の係数を線型補間して求め、時刻n,又は、ｎ＋
１の画像にアフィン変換を施してフレーム間の補間を行
うようにしたものであるので、画像中の物体の位置や，
形がフレーム間で大きく変化している場合でも、フレー
ム間、即ち、時刻ｎと，時刻ｎ＋１との間の任意の時刻
ｔの画像を線形補間して求めることができる効果があ
る。Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a diagram for explaining the principle of the present invention, and FIG. 2 is a diagram showing an embodiment of the present invention. The moment calculation unit 1 for obtaining an approximate ellipse and the affine transformation (施, Λ, Θ, Φ, Α, Β) obtained by performing affine transformation on the approximate ellipse at time n to obtain an approximate ellipse at time n + 1, Affine coefficient correction means 3, 4, 5 for linearly interpolating the affine coefficients of
The corrected affine coefficients (κ, λ, θ, φ,
The affine transformation execution units 60 and 61 for performing affine transformation on the original image based on (a, b) are the means necessary to carry out the present invention. Note that the same reference numerals indicate the same object throughout the drawings. Hereinafter, the inter-frame interpolation method of the present invention will be described with reference to FIG. 2 while referring to FIG. One of the inter-frame interpolation methods of the present invention performed based on the principle described in the above-mentioned “action” section is as follows: a moment calculating unit 1 that calculates primary and secondary moments of an image; An affine transformation coefficient calculation unit 3 for calculating coefficients of affine transformation for associating the moments with the moments of the image B; a coefficient correction unit 50 for multiplying these coefficients by a constant based on an instruction from the correction parameter setting unit 4; Affine transformation execution unit 60 that performs affine transformation on the original image
The image A can be realized by performing an affine transformation having a coefficient corrected by the coefficient correction unit 50 on the image A. Another method is as follows: a moment calculating unit 1 for calculating primary and secondary moments of an image; calculating a affine transformation coefficient for associating a moment of an image A with a moment of another image B from the moment of another image B An affine transformation coefficient calculation unit 3, a coefficient correction unit 50, 51 for multiplying these coefficients by a constant based on an instruction from the correction parameter setting unit 4, an affine transformation execution unit for performing affine transformation on the original image 60, 61, and an image synthesizing unit 7 for calculating a linear sum of two images, and affine transformation having coefficients corrected by the coefficient correcting units 50, 51 is performed on the image A by a certain constant. The result obtained by performing affine transformation on the image B with the coefficient corrected by the coefficient correction unit using the result and another constant is used as an input to the image synthesis unit 7 to obtain a linear result of the two results. It can be achieved by determining the. The configuration and operation of the latter embodiment will be described with reference to FIG. First, the input unit converts an image input in time series into a digital image. The digitized image is transferred to the image memory B. At this time, the image stored in the image memory B is transferred to the image memory A. Therefore, the image memory A stores the image at time n, and the image memory B stores the image at time n + 1. The moment calculating unit 1 calculates the primary and secondary moments of the image stored in the image memory B using the above-described equation (10).
Calculated according to The result is transferred to the moment memory B20. At this time, the image stored in the moment memory B20 is transferred to the moment memory A21. Therefore, the moment memory A21 stores the moment of the image at time n, and the moment memory B20 stores the moment at time n.
The moment of the image at +1 will be preserved. When the affine transformation coefficient calculation unit 3 affine-transforms the image at time n (pseudo-ellipse) into an image at time n + 1 (pseudo-ellipse) from these moments by the above-described equation (11) -a, b, c. Is calculated. The correction parameter setting unit 4 sets at which time between the time n and the time n + 1 an interpolated image is to be generated.
For example, when two images are to be interpolated between frames at equal time intervals, (1/3, 2/3) is set. The coefficient correction unit A51 corrects the coefficients of the affine transformation according to the above equation (13), assuming that t = n + 1/3 and t = n + 2/3.
The coefficient correction unit B50 corrects the coefficients of the affine transformation according to the above equation (14), assuming that t = n + 1/3 and t = n + 2/3. The affine transformation execution unit A61 and the affine transformation execution unit B60 respectively perform affine transformation on the images at time n and time n + 1 according to the above-described equation (12), and convert the images at time n and n + 1 into the image at time t. Ask for. The result is synthesized by the image synthesizing unit 7 according to the above equation (15), and a linear sum of two affine transformed images is obtained. In this manner, an image at an arbitrary time t between the time n and the time n + 1 can be alternatively generated. [Effects of the Invention] As described above in detail, the inter-frame interpolation method of the present invention performs interpolation between frames of a moving image, that is, discrete times 1, 2, ..., n, n + 1. ,... For the time-series images given at time n and time n + 1
To generate an image at any time t between
And the first and second moments of the image at time n + 1 are obtained, the original image is approximated by an ellipse, and the coordinate transformation for transforming the approximate ellipse at time n into an approximate ellipse at time n + 1 is performed by affine transformation. First, the center of the approximate ellipse at time n is overlapped with the center of the approximate ellipse at time n + 1,
The ellipse is rotated by an angle に so that the major axis of the ellipse is parallel to the x-axis, and the length of the major axis of the ellipse is multiplied by ， and the length of the minor axis is multiplied by Λ. To the lengths of the major axis and minor axis of the ellipse.
By rotating the affine transformation by the distance n, the coordinates of the affine transformation to be matched with the ellipse at the time n + 1 are calculated, and based on this coefficient, the coordinates of the time t between the time n and the time n + 1 are linearly interpolated by the coefficients of the affine transformation. And calculate at time n or n +
Since the affine transformation is performed on the first image to perform interpolation between frames, the position of an object in the image,
Even when the shape greatly changes between frames, there is an effect that an image at any time t between frames, that is, between time n and time n + 1 can be obtained by linear interpolation.
第１図は本発明の原理を説明する図， 第２図は本発明の一実施例を示した図， 第３図は従来のフレーム間補間方式を説明する図，であ
る。 図面において、 １はモーメント算出部,20はモーメントメモリB,21はモ
ーメントメモリA,3はアフィン変換係数算出部,4は補正
パラメータ設定部,50は係数補正部B,51は係数補正部A,6
0はアフィン変換実行部B,61はアフィン変換実行部A,7は
画像合成部，をそれぞれ示す。FIG. 1 is a diagram illustrating the principle of the present invention, FIG. 2 is a diagram illustrating an embodiment of the present invention, and FIG. 3 is a diagram illustrating a conventional inter-frame interpolation method. In the drawing, 1 is a moment calculating unit, 20 is a moment memory B, 21 is a moment memory A, 3 is an affine transformation coefficient calculating unit, 4 is a correction parameter setting unit, 50 is a coefficient correcting unit B, 51 is a coefficient correcting unit A, 6
0 indicates an affine transformation execution unit B, 61 indicates an affine transformation execution unit A, and 7 indicates an image synthesis unit.
Claims (2)
するモーメント算出部（１）と、 ある画像Ａのモーメントと，別の画像Ｂのモーメントか
ら、それらのモーメントを対応付けるアフィン変換の係
数を算出するアフィン変換係数算出部（３）と、 これらの係数を定数倍する係数補正部（4,50）と、 画像アフィン変換を施すアフィン変換実行部（60）を備
え， 係数補正部（4,50）によって補正された係数を持つアフ
ィン変換を、上記画像Ａに対して施すことを特徴とする
フレーム間補間方式。1. A moment calculating section (1) for calculating primary and secondary moments of an image, and a coefficient of an affine transformation for associating the moments of a certain image A and the moment of another image B with each other. An affine transformation coefficient calculation unit (3), a coefficient correction unit (4,50) for multiplying these coefficients by a constant, and an affine transformation execution unit (60) for performing image affine transformation. ), An affine transformation having a coefficient corrected according to (1) is performed on the image A.
するモーメント算出部（１）と、 ある画像Ａのモーメントと，別の画像Ｂのモーメントか
ら、それらのモーメンとを対応付けるアフィン変換の係
数を算出するアフィン変換係数算出部（３）と、 これらの係数を定数倍する係数補正部（4,50,51）と、 画像アフィン変換を施すアフィン変換実行部（60,61）
と、 二枚の画像の線型和を算出する画像合成部（７）とを備
え， ある定数によって、上記係数補正部（50）によって補正
された係数を持つアフィン変換を画像Ａに対して施した
結果と，別の定数によって、係数補正部（51）によって
補正された係数を持つアフィン変換を画像Ｂに対して施
した結果を、上記画像合成部（７）の入力として、該２
つの結果画像の線形和を求めることを特徴とするフレー
ム間補間方式。2. A moment calculation unit (1) for calculating primary and secondary moments of an image, and a coefficient of an affine transformation for associating a moment of one image A and a moment of another image B with those moments. An affine transformation coefficient calculation unit (3) to calculate, a coefficient correction unit (4, 50, 51) for multiplying these coefficients by a constant, and an affine transformation execution unit (60, 61) for performing image affine transformation
And an image synthesizing unit (7) for calculating a linear sum of the two images, wherein an affine transformation having coefficients corrected by the coefficient correcting unit (50) is performed on the image A by a certain constant. The result obtained by performing an affine transformation on the image B having the coefficient corrected by the coefficient correction unit (51) using the result and another constant is input to the image synthesis unit (7).
An inter-frame interpolation method for obtaining a linear sum of two result images.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24743889A JP2760083B2 (en) | 1989-09-22 | 1989-09-22 | Interframe interpolation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24743889A JP2760083B2 (en) | 1989-09-22 | 1989-09-22 | Interframe interpolation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH03109677A JPH03109677A (en) | 1991-05-09 |
| JP2760083B2 true JP2760083B2 (en) | 1998-05-28 |
Family
ID=17163441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24743889A Expired - Fee Related JP2760083B2 (en) | 1989-09-22 | 1989-09-22 | Interframe interpolation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2760083B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3957816B2 (en) * | 1997-06-05 | 2007-08-15 | 富士通株式会社 | Inter-frame interpolation image processing device |
| US7397933B2 (en) * | 2005-05-27 | 2008-07-08 | Microsoft Corporation | Collusion resistant desynchronization for digital video fingerprinting |
| EP2157800B1 (en) | 2008-08-21 | 2012-04-18 | Vestel Elektronik Sanayi ve Ticaret A.S. | Method and apparatus for increasing the frame rate of a video signal |
-
1989
- 1989-09-22 JP JP24743889A patent/JP2760083B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH03109677A (en) | 1991-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0268984B1 (en) | Image orientation and animation using quaternions | |
| US5642732A (en) | Apparatus and method for estimating missing doppler signals and spectra | |
| EP0440218A2 (en) | A moving video image estimation system | |
| EP0437074B1 (en) | Special effects using polar image coordinates | |
| JP3957816B2 (en) | Inter-frame interpolation image processing device | |
| JPH02239376A (en) | Method and device for detecting motion of moving image | |
| JP2760083B2 (en) | Interframe interpolation method | |
| JP3517256B2 (en) | Image synthesis device | |
| JP2004320662A (en) | Approximate expression correction system in geometrical correction of projection image | |
| JP2002074382A (en) | Method and device for generating animation | |
| JP3510035B2 (en) | Ultrasound diagnostic equipment | |
| Choi et al. | Processing motion capture data to achieve positional accuracy | |
| JPH04329484A (en) | Image synthesizer | |
| JPH06274649A (en) | Image synthesizer | |
| JP2644367B2 (en) | Interframe interpolation method | |
| JPS6333167B2 (en) | ||
| JP3084096B2 (en) | Progressive scanning signal converter | |
| JPS6219973A (en) | Data compression method | |
| JP3535339B2 (en) | Interpolated image generation device and contour data generation method | |
| JPH10164608A (en) | Method and device for generating arbitrary function and digital convergence correcting device using them | |
| JPH08161524A (en) | Inter-frame interpolating device and animation preparing device | |
| JPH04241844A (en) | Image interpolating method | |
| JPH0449473A (en) | Image interpolating and contracting system | |
| JPH06105227A (en) | Video signal processing unit | |
| JPH08153191A (en) | Method and device for curve approximation processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |