JP2644367B2 - フレーム間補間方式 - Google Patents
フレーム間補間方式Info
- Publication number
- JP2644367B2 JP2644367B2 JP28985090A JP28985090A JP2644367B2 JP 2644367 B2 JP2644367 B2 JP 2644367B2 JP 28985090 A JP28985090 A JP 28985090A JP 28985090 A JP28985090 A JP 28985090A JP 2644367 B2 JP2644367 B2 JP 2644367B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- moment
- affine transformation
- calculating
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の詳細な説明】 〔概 要〕 動画像のフレーム間の補間を行なう方式に関し、 フレーム間で画像の位置や形状が大きく変化している
場合でも滑らかなフレーム間補間を行なうことのできる
方式を提供することを目的とし、１枚目および２枚目の
画像のそれぞれのモーメント特徴を抽出し、各モーメン
ト特徴を結びつけるアフィン変換を決定し、このアフィ
ン変換を画像に施すことによって中間の任意の時刻の画
像を推定するように構成される。
場合でも滑らかなフレーム間補間を行なうことのできる
方式を提供することを目的とし、１枚目および２枚目の
画像のそれぞれのモーメント特徴を抽出し、各モーメン
ト特徴を結びつけるアフィン変換を決定し、このアフィ
ン変換を画像に施すことによって中間の任意の時刻の画
像を推定するように構成される。
本発明は、動画像のフレーム間補間方式に関する。
テレビにおいては、1/30秒毎に画像フレームを出力す
ることにより画像の動きを滑らかに表現しているが、も
し、例えば、画像フレームが１秒間に10枚しか出力され
ないならば、見にくい動画像となってしまうであろう。
ることにより画像の動きを滑らかに表現しているが、も
し、例えば、画像フレームが１秒間に10枚しか出力され
ないならば、見にくい動画像となってしまうであろう。
また、アニメーションの分野では、少しずつ異なる画
像を多数フレーム作成し、１秒間に30フレームの割合で
出力することで滑らかな動画像を得ているが、それらの
画像を全て人手で作成すると膨大な工数を必要とする。
従って、中間画像を省いた画像を作成し、省いた画像を
補間して自動的に生成できれば、工数の削減ができる。
像を多数フレーム作成し、１秒間に30フレームの割合で
出力することで滑らかな動画像を得ているが、それらの
画像を全て人手で作成すると膨大な工数を必要とする。
従って、中間画像を省いた画像を作成し、省いた画像を
補間して自動的に生成できれば、工数の削減ができる。
さらに、医薬の分野では、例えば、心臓の動きの超音
波画像を連続的に得たい場合でも、１秒間に30枚の画像
が得られない場合があり、中間の画像を補間したいとい
う要望がある。
波画像を連続的に得たい場合でも、１秒間に30枚の画像
が得られない場合があり、中間の画像を補間したいとい
う要望がある。
画像のフレーム間補間とは、離散的な時刻1,2,・・・
n,n＋1,・・・において与えられた時系列画像に基づき
時刻ｎと時刻ｎ＋１の間にある任意の時刻の画像を生成
することを意味する。
n,n＋1,・・・において与えられた時系列画像に基づき
時刻ｎと時刻ｎ＋１の間にある任意の時刻の画像を生成
することを意味する。
第３図は、従来のフレーム間補間方式の例を示す。第
３図において、I1（x,y）は動いている物体のの時刻ｎ
における画像、I2（x,y）はその時刻ｎ＋１における画
像、Ｉ（x,y;t）はｎとｎ＋１の中間の時刻ｔにおいて
生成されるべき画像である。
３図において、I1（x,y）は動いている物体のの時刻ｎ
における画像、I2（x,y）はその時刻ｎ＋１における画
像、Ｉ（x,y;t）はｎとｎ＋１の中間の時刻ｔにおいて
生成されるべき画像である。
従来、画像Ｉ（x,y;t）は、画像I1（x,y）およびI
2（x,y）の画素毎の画素値を次式によって線型に補間す
ることによって求められていた。
2（x,y）の画素毎の画素値を次式によって線型に補間す
ることによって求められていた。
Ｉ（x,y;t）＝（１−ｔ）I1（x,y）＋tI2（x,y） 〔発明が解決しようとする課題〕 上述のような従来の方式では、画像中の物体の位置や
形がフレーム間で大きく変化した場合に、補間された画
像では第３図で斜線で示す部分のように物体が二重に写
ってしまうという問題があった。
形がフレーム間で大きく変化した場合に、補間された画
像では第３図で斜線で示す部分のように物体が二重に写
ってしまうという問題があった。
本発明は、上記従来技術の欠点を除去し、フレーム間
で画像の位置や形が大きく変化している場合において
も、滑らかな補間を行ない、見易い画像を生成するフレ
ーム間補間方式を提供することを目的とする。
で画像の位置や形が大きく変化している場合において
も、滑らかな補間を行ない、見易い画像を生成するフレ
ーム間補間方式を提供することを目的とする。
〔課題を解決するための手段〕 本発明によるフレーム間補間方式は、第１および第２
の画像の各モーメント特徴を算出するモーメント算出部
と、第１の画像のモーメント特徴と第２の画像のモーメ
ント特徴を時刻に依存する重みによって重み付き平均す
るモーメント線形和算出部と、第１の画像のモーメント
特徴をモーメント線形和算出部で算出されたモーメント
特徴に変換するアフィン変換を算出するアフィン変換算
出部と、算出されたアフィン変換を第１の画像に施すア
フィン変換実行部とを備えて構成される。
の画像の各モーメント特徴を算出するモーメント算出部
と、第１の画像のモーメント特徴と第２の画像のモーメ
ント特徴を時刻に依存する重みによって重み付き平均す
るモーメント線形和算出部と、第１の画像のモーメント
特徴をモーメント線形和算出部で算出されたモーメント
特徴に変換するアフィン変換を算出するアフィン変換算
出部と、算出されたアフィン変換を第１の画像に施すア
フィン変換実行部とを備えて構成される。
また、本発明によるフレーム間補間方式は、第１およ
び第２の画像の各モーメント特徴を算出するモーメント
算出部と、第１の画像のモーメント特徴と第２の画像の
モーメント特徴を時刻に依存する重みによって重み付き
平均するモーメント線形和算出部と、第１の画像のモー
メント特徴を線形和算出部で算出されたモーメント特徴
に変換するアフィン変換を算出する第１のアフィン変換
算出部と、第２の画像のモーメント特徴を線形和算出部
で算出されたモーメント特徴に変換するアフィン変換を
算出する第２のアフィン変換算出部と、第１のアフィン
変換算出部によって決定されたアフィン変換を第１の画
像に施した結果と、第２のアフィン変換算出部によって
決定されたアフィン変換を第２の画像に施した結果の線
型和を算出するアフィン変換実行部とを備えて構成され
る。
び第２の画像の各モーメント特徴を算出するモーメント
算出部と、第１の画像のモーメント特徴と第２の画像の
モーメント特徴を時刻に依存する重みによって重み付き
平均するモーメント線形和算出部と、第１の画像のモー
メント特徴を線形和算出部で算出されたモーメント特徴
に変換するアフィン変換を算出する第１のアフィン変換
算出部と、第２の画像のモーメント特徴を線形和算出部
で算出されたモーメント特徴に変換するアフィン変換を
算出する第２のアフィン変換算出部と、第１のアフィン
変換算出部によって決定されたアフィン変換を第１の画
像に施した結果と、第２のアフィン変換算出部によって
決定されたアフィン変換を第２の画像に施した結果の線
型和を算出するアフィン変換実行部とを備えて構成され
る。
時刻ｎにおける画像I1と時刻ｎ＋１における画像I2の
各モーメント特徴F1およびF2がモーメント算出部で算出
され、これ等のモーメント特徴の時間ｎ＋１による重み
付け平均Ｆ（ｔ）＝（１−ｔ）F1＋tF2がモーメント線
型和算出部で算出される。つぎに画像I1のモーメント特
徴F1を線形和算出部で算出されたモーメント特徴Ｆ
（ｔ）に変換するアフィン変換Ｇ（ｔ）が、アフィン変
換算出部で算出される。算出されたアフィン変換Ｇ
（ｔ）は、アフィン変換実行部で画像I1に施され（ItG
（ｔ）＊I1）、中間画像Itが得られる。
各モーメント特徴F1およびF2がモーメント算出部で算出
され、これ等のモーメント特徴の時間ｎ＋１による重み
付け平均Ｆ（ｔ）＝（１−ｔ）F1＋tF2がモーメント線
型和算出部で算出される。つぎに画像I1のモーメント特
徴F1を線形和算出部で算出されたモーメント特徴Ｆ
（ｔ）に変換するアフィン変換Ｇ（ｔ）が、アフィン変
換算出部で算出される。算出されたアフィン変換Ｇ
（ｔ）は、アフィン変換実行部で画像I1に施され（ItG
（ｔ）＊I1）、中間画像Itが得られる。
また、上記において、算出されるＧ（ｔ）がＧ（１）
＊I1＝I2を必ずしも満足しない場合があることを考慮し
て、上記Ｇ（ｔ）の他に、画像I2のモーメント特徴を線
型和算出部で算出されたモーメント特徴に変換するアフ
ィン変換Ｇ′（ｔ）を求め、アフィン変換実行部におい
て、Ｇ（ｔ）＊I1とＧ′（ｔ）＊I2の線型和を求めるこ
とによって、より精度の高い補間画像を得るようにして
いる。
＊I1＝I2を必ずしも満足しない場合があることを考慮し
て、上記Ｇ（ｔ）の他に、画像I2のモーメント特徴を線
型和算出部で算出されたモーメント特徴に変換するアフ
ィン変換Ｇ′（ｔ）を求め、アフィン変換実行部におい
て、Ｇ（ｔ）＊I1とＧ′（ｔ）＊I2の線型和を求めるこ
とによって、より精度の高い補間画像を得るようにして
いる。
第１図は本発明によるフレーム間補間方式の一実施例
の構成を示す。
の構成を示す。
第１図において、１枚目の画像１からモーメント算出
部３により画像１のモーメント特徴が抽出され、２枚目
の画像２からモーメント算出部４により画像２のモーメ
ント特徴が抽出される。
部３により画像１のモーメント特徴が抽出され、２枚目
の画像２からモーメント算出部４により画像２のモーメ
ント特徴が抽出される。
ここでモーメント特徴とは、ある物体像全体を特徴ず
ける画像上の量、例えば重心やモーメントをいう。
ける画像上の量、例えば重心やモーメントをいう。
物体の移動により、これ等モーメント特徴がどのよう
に変化するかが理論的に計算でき、従って画像毎のモー
メント特徴を独立して計測することにより、物体の運動
を計算することができ、各画像中の物体の各点の対応関
係は必要でないことは既に証明されている（人口知能学
会誌第４巻第１号PP13−20“数理的手法による三次元情
報抽出”）。
に変化するかが理論的に計算でき、従って画像毎のモー
メント特徴を独立して計測することにより、物体の運動
を計算することができ、各画像中の物体の各点の対応関
係は必要でないことは既に証明されている（人口知能学
会誌第４巻第１号PP13−20“数理的手法による三次元情
報抽出”）。
モーメント特徴は、物体の重心、慣性主軸がｘ軸とな
す角、主軸のまわりのモーメント、ならびに主軸に直交
する軸のまわりのモーメントとし、それ等はつぎのよう
に求められる。
す角、主軸のまわりのモーメント、ならびに主軸に直交
する軸のまわりのモーメントとし、それ等はつぎのよう
に求められる。
１および２枚目の画像をそれぞれI1（x,y）、I2（x,
y）とし、１枚目の画像I1（x,y）および２枚目の画像I2
（x,y）の重心を（X1,Y1）、（X2,Y2）、慣性主軸がｘ
軸となす角をθ１、θ２、主軸まわりのモーメントをEX
P（２κ１）、EXP（２κ２）、主軸に直交する軸のまわ
りのモーメントをEXP（２λ１）、EXP（２λ２）、で表
わすと、それ等は下記の各式から求められる。
y）とし、１枚目の画像I1（x,y）および２枚目の画像I2
（x,y）の重心を（X1,Y1）、（X2,Y2）、慣性主軸がｘ
軸となす角をθ１、θ２、主軸まわりのモーメントをEX
P（２κ１）、EXP（２κ２）、主軸に直交する軸のまわ
りのモーメントをEXP（２λ１）、EXP（２λ２）、で表
わすと、それ等は下記の各式から求められる。
X1＝∬xI1（x,y）dxdy/∬I1（x,y）dxdy Y1＝∬yI1（x,y）dxdy/∬I1（x,y）dxdy tan（２θ１）＝2M1xx/（M1xx−M1yy） X2＝∬xI2（x,y）dxdy/∬I2（x,y）dxdy Y2＝∬yI2（x,y）dxdy/∬I2（x,y）dxdy tan（２θ２）＝2M2xx/（M2xx−M2yy） 上記式において、M1xx,M1yy,M1xy,M2xx,M2yyおよびM
2xyは下記の各式により求められる。
2xyは下記の各式により求められる。
M1xx＝∬（ｘ−M1x）2dxdy/∬I1（x,y）dxdy M1yy＝∬（ｙ−M1y）2dxdy/∬I1（x,y）dxdy M1xy＝∬（ｘ−M1x）（ｙ−Mn y）dxdy/∬I1（x,y）dxdy M2xx＝∬（ｘ−M2x）2dxdy/∬I2（x,y）dxdy M2yy＝∬（ｙ−M2y）2dxdy/∬I2（x,y）dxdy M2xy＝∬（ｘ−M2x）（ｙ−Mn y）dxdy/∬I2（x,y）dxdy つぎに、アフィン変換について説明する。
画像をｘ軸方向にX,y軸方向にＹだけ平行移動させる
変換をＴ（X,Y）、原点を中心にθだけ回転させる変換
をＲ（θ）、ｘ軸方向にexp（κ）倍、ｙ軸方向にexp
（λ）倍だけ伸縮させる変換をＭ（κ，λ）と表わす。
これらの変換は画像空間に作用すると同時に、特徴空間
にも作用する演算である。
変換をＴ（X,Y）、原点を中心にθだけ回転させる変換
をＲ（θ）、ｘ軸方向にexp（κ）倍、ｙ軸方向にexp
（λ）倍だけ伸縮させる変換をＭ（κ，λ）と表わす。
これらの変換は画像空間に作用すると同時に、特徴空間
にも作用する演算である。
第４図は、特徴空間におけるモーメント特徴の変換の
原理を示す。
原理を示す。
第４図において、F0は特徴空間の原点、F1およびF2は
それぞれ第１および２枚目の画像のモーメント特徴、G1
はF0からF1への変換、G2はF0からF2への変換を表わす。
なおG1 -1はG1の逆変換、矢印は変換の方向を表わす。
それぞれ第１および２枚目の画像のモーメント特徴、G1
はF0からF1への変換、G2はF0からF2への変換を表わす。
なおG1 -1はG1の逆変換、矢印は変換の方向を表わす。
１枚目の画像のモーメント特徴F1＝（X1,Y1,θ1,κ1,
λ１）および２枚目の画像のモーメント特徴F2＝（X2,Y
2,θ2,κ2,λ２）は、第４図に示すように、それぞれ特
徴空間の原点F0＝（0,0,0,0,0）に対して下記の変換を
施すことによって得られる。
λ１）および２枚目の画像のモーメント特徴F2＝（X2,Y
2,θ2,κ2,λ２）は、第４図に示すように、それぞれ特
徴空間の原点F0＝（0,0,0,0,0）に対して下記の変換を
施すことによって得られる。
F1＝G1＊F0 G1＝Ｔ（X1,Y1）Ｒ（θ１）Ｍ（κ1,λ１）Ｒ（φ１） （１） F2＝G2＊F0 G2＝Ｔ（X2,Y2）Ｒ（θ２）Ｍ（κ2,λ２）Ｒ（φ２） （２） ただし、φ１とφ２は任意の角である。特徴空間の原
点F0に対して原点を中心に任意の角度だけ回転してもモ
ーメント特徴は不変であるのでＲ（φ１）とＲ（φ２）
の因子を付加することができる。
点F0に対して原点を中心に任意の角度だけ回転してもモ
ーメント特徴は不変であるのでＲ（φ１）とＲ（φ２）
の因子を付加することができる。
（１），（２）式より、２枚目の画像のモーメント特
徴F2は１枚目の画像のモーメント特徴F1に対して次の変
換を施した結果に等しいことがわかる（第４図参照）。
徴F2は１枚目の画像のモーメント特徴F1に対して次の変
換を施した結果に等しいことがわかる（第４図参照）。
F2＝G2G1 -1＊F1 （３） 式（３）を基に、１枚目の画像のモーメント特徴F1を
任意の時刻におけるモーメント特徴Ｆ（ｔ）に変換する
時間的に連続なアフィン変換Ｇ（ｔ）を求める。
任意の時刻におけるモーメント特徴Ｆ（ｔ）に変換する
時間的に連続なアフィン変換Ｇ（ｔ）を求める。
単位時間後にはＦ（ｔ）がF2に一致するためには、次
の条件を満たさなければならない。
の条件を満たさなければならない。
Ｆ（ｔ）＝Ｇ（ｔ）＊F1,F0＝F1,F（１）＝F2 （４） （４）式を満たす変換Ｇ（ｔ）は無数に存在するが、
その中から次の条件を満たすものを求める。
その中から次の条件を満たすものを求める。
Ｆ（ｔ）＝（１−ｔ）F1＋tF2 （５） （５）式はモーメント特徴が時間に関して線形に変化
することを意味する。
することを意味する。
（４）式と（５）式を満たすＧ（ｔ）は、 を用いて次式で求まる。
Ｇ（ｔ）＝Ｔ（Ｘ（ｔ）,Y（ｔ））Ｒ（θ（ｔ）） Ｍ（κ（ｔ），λ（ｔ））Ｒ（φ（ｔ））Ｒ（−φ１） Ｍ（−κ1,−λ1,）Ｒ（−θ１）Ｔ（−X1,−Y1）．
（７） （７）式は１枚目の画像I1（x,y）のモーメント特徴
を（６）式で求まるモーメント特徴に変換するアフィン
変換を表しており、このアフィン変換を画像I1（x,y）
に施すと、時刻ｔにおけるモーメント特徴は（６）式に
従って線形に変化する。
（７） （７）式は１枚目の画像I1（x,y）のモーメント特徴
を（６）式で求まるモーメント特徴に変換するアフィン
変換を表しており、このアフィン変換を画像I1（x,y）
に施すと、時刻ｔにおけるモーメント特徴は（６）式に
従って線形に変化する。
上記の原理に基ずき、第１図において、モーメント線
型和算出部５は、モーメント算出部３および４からの１
枚目および２枚目の画像の各モーメント特徴を（６）式
に代入してモーメント特徴の線型和を求める。
型和算出部５は、モーメント算出部３および４からの１
枚目および２枚目の画像の各モーメント特徴を（６）式
に代入してモーメント特徴の線型和を求める。
アフィン変換算出部は（７）式に従ってアフィン変換
Ｇ（ｔ）を求める。
Ｇ（ｔ）を求める。
アフィン変換実行部７はアフィン変換Ｇ（ｔ）を１枚
目の画像I1（x,y）に施すことにより任意の時刻ｔにお
ける画像Ｉ（x,y;t）を求める。すなわち、 Ｉ（x,y;t）＝Ｇ（ｔ）＊I1（x,y） （８） （８）式によれば、Ｉ（x,y;t）は時刻ｔ＝０では一
枚目の画像に、時刻ｔ＝１では二枚目の画像に一致す
る。
目の画像I1（x,y）に施すことにより任意の時刻ｔにお
ける画像Ｉ（x,y;t）を求める。すなわち、 Ｉ（x,y;t）＝Ｇ（ｔ）＊I1（x,y） （８） （８）式によれば、Ｉ（x,y;t）は時刻ｔ＝０では一
枚目の画像に、時刻ｔ＝１では二枚目の画像に一致す
る。
第２図は、本発明の他の実施例の構成を示す。上記に
おいて求められたアフィン変換Ｇ（ｔ）を用いたとき、
Ｇ（Ｉ）＊I1（x,y）とI2（x,y）は必ずしも一致しな
い。
おいて求められたアフィン変換Ｇ（ｔ）を用いたとき、
Ｇ（Ｉ）＊I1（x,y）とI2（x,y）は必ずしも一致しな
い。
本実施例においては、２枚目の画像I2（x,y）のモー
メント特徴を、モーメント線型和算出部５において求め
られたモーメント特徴に変換する第２のアフィン変換
Ｇ′（ｔ）を求め、次のようにＧ（ｔ）＊I1（x,y）と
Ｇ′（ｔ）＊I2（x,y）を重ね合わせることにより、Ｉ
（x,y;t）を求める。すなわち、 Ｉ（x,y;t）＝（１−ｔ）Ｇ（ｔ）＊I1（x,y） ＋tG′（ｔ）＋I2（x,y） （９） ここでＧ′（ｔ）は（７）式と同様にして次式で定ま
る。
メント特徴を、モーメント線型和算出部５において求め
られたモーメント特徴に変換する第２のアフィン変換
Ｇ′（ｔ）を求め、次のようにＧ（ｔ）＊I1（x,y）と
Ｇ′（ｔ）＊I2（x,y）を重ね合わせることにより、Ｉ
（x,y;t）を求める。すなわち、 Ｉ（x,y;t）＝（１−ｔ）Ｇ（ｔ）＊I1（x,y） ＋tG′（ｔ）＋I2（x,y） （９） ここでＧ′（ｔ）は（７）式と同様にして次式で定ま
る。
Ｇ′（ｔ）＝Ｔ（Ｘ（ｔ）,Y（ｔ））Ｒ（θ（ｔ）） Ｍ（κ（ｔ），λ（ｔ））Ｒ（φ（ｔ））Ｒ（−φ２） Ｍ（−κ2,−λ2,）Ｒ（−θ２）Ｔ（−X2,−Y2） （10） 第２図において、入力部10は時系列的に入力される画
像をデジタル画像に変換する。
像をデジタル画像に変換する。
ディジタル化された画像は画像メモリ11に転送される
が、そのとき、画像メモリ11に記憶されていた画像は画
像メモリ12に転送される。従って、画像メモリ12は時刻
ｎにおける画像を保存し、画像メモリ11は時刻ｎ＋１に
おける画像を保存することになる。
が、そのとき、画像メモリ11に記憶されていた画像は画
像メモリ12に転送される。従って、画像メモリ12は時刻
ｎにおける画像を保存し、画像メモリ11は時刻ｎ＋１に
おける画像を保存することになる。
モーメント算出部13は、画像メモリ11に保存されてい
る画像のモーメント特徴を算出する。その結果はモーメ
ントメモリ14に転送されているが、そのとき、モーメン
トメモリ14に記憶されているモーメント特徴はモーメン
トメモリ15に転送される。従って、モーメントメモリ15
は時刻ｎにおける画像のモーメント特徴を保存し、モー
メント14は時刻ｎ＋１における画像のモーメント特徴を
保存することになる。
る画像のモーメント特徴を算出する。その結果はモーメ
ントメモリ14に転送されているが、そのとき、モーメン
トメモリ14に記憶されているモーメント特徴はモーメン
トメモリ15に転送される。従って、モーメントメモリ15
は時刻ｎにおける画像のモーメント特徴を保存し、モー
メント14は時刻ｎ＋１における画像のモーメント特徴を
保存することになる。
モーメント線形和算出部16はモーメントメモリ14およ
び15に保存されているモーメント特徴から（６）式に従
って時刻ｎ＋ｔにおける画像のモーメント特徴を推定す
る。
び15に保存されているモーメント特徴から（６）式に従
って時刻ｎ＋ｔにおける画像のモーメント特徴を推定す
る。
アフィン変換算出部18は時刻ｎにおける画像のモーメ
ント特徴をモーメント線形和によって推定された時刻ｎ
＋ｔにおける画像のモーメント特徴に変換するアフィン
変換Ｇ（ｔ）を（７）式によって導出する。
ント特徴をモーメント線形和によって推定された時刻ｎ
＋ｔにおける画像のモーメント特徴に変換するアフィン
変換Ｇ（ｔ）を（７）式によって導出する。
アフィン変換算出部17は同様に時刻ｎ＋１における画
像のモーメント特徴をモーメント線形和によって推定さ
れた時刻ｎ＋１における画像のモーメント特徴に変換す
るアフィン変換Ｇ′（ｔ）を（10）式によって導出す
る。
像のモーメント特徴をモーメント線形和によって推定さ
れた時刻ｎ＋１における画像のモーメント特徴に変換す
るアフィン変換Ｇ′（ｔ）を（10）式によって導出す
る。
アフィン変換部20およびアフィン変換部19は、それぞ
れ、アフィン変換算出部18およびアフィン変換算出部17
によって算出された各アフィン変換をそれぞれ時刻ｎに
おける画像および時刻ｎ＋１における画像に施す。
れ、アフィン変換算出部18およびアフィン変換算出部17
によって算出された各アフィン変換をそれぞれ時刻ｎに
おける画像および時刻ｎ＋１における画像に施す。
画像合成部21はアフィン変換部19および20による変換
結果を、（９）式に適用することにより、時刻ｔにおけ
る画像を合成する。
結果を、（９）式に適用することにより、時刻ｔにおけ
る画像を合成する。
本発明による画像のフレーム間補間方式によれば、１
枚目、２枚目のそれぞれの画像から重心、慣性主軸、主
軸のまわりおよびそれに直交する軸のまわりのモーメン
ト特徴を算出し、次に、１枚目の画像のモーメント特徴
を２枚目の画像のモーメント特徴に変換するアフィン変
換を求め、さらに、このアフィン変換を時間に関して連
続化し、これを１枚目の画像に施すことにより任意時刻
における画像を推定するので、１枚目と２枚目の画像の
位置や形が大きく異る場合においても、滑らかな補間が
行われ、補間によって得られた画像には重なり部分がな
く、見易い画像が得られる。
枚目、２枚目のそれぞれの画像から重心、慣性主軸、主
軸のまわりおよびそれに直交する軸のまわりのモーメン
ト特徴を算出し、次に、１枚目の画像のモーメント特徴
を２枚目の画像のモーメント特徴に変換するアフィン変
換を求め、さらに、このアフィン変換を時間に関して連
続化し、これを１枚目の画像に施すことにより任意時刻
における画像を推定するので、１枚目と２枚目の画像の
位置や形が大きく異る場合においても、滑らかな補間が
行われ、補間によって得られた画像には重なり部分がな
く、見易い画像が得られる。
第１図は本発明の一実施例の構成を示す図、第２図は本
発明の他の実施例の構成を示す図、第３図は従来のフレ
ーム間補間方式を示す図、第４図はアフィン変換を説明
するための図である。 １……１枚目の画像、２……２枚目の画像、3,4……モ
ーメント算出部、５……モーメント線型和算出部、６…
…アフィン変換算出部、７……アフィン変換実行部、10
……入力部、11,12……画像メモリ、13……モーメント
算出部、14,15……モーメントメモリ、16……モーメン
ト線型和算出部、17,18……アフィン変換算出部、19,20
……アフィン変換部、21……画像合成部、F0,F1,F2……
モーメント特徴、G1,G2……変換、I1（x,y）,I2（x,
y）,I（x,y;t）……画像。
発明の他の実施例の構成を示す図、第３図は従来のフレ
ーム間補間方式を示す図、第４図はアフィン変換を説明
するための図である。 １……１枚目の画像、２……２枚目の画像、3,4……モ
ーメント算出部、５……モーメント線型和算出部、６…
…アフィン変換算出部、７……アフィン変換実行部、10
……入力部、11,12……画像メモリ、13……モーメント
算出部、14,15……モーメントメモリ、16……モーメン
ト線型和算出部、17,18……アフィン変換算出部、19,20
……アフィン変換部、21……画像合成部、F0,F1,F2……
モーメント特徴、G1,G2……変換、I1（x,y）,I2（x,
y）,I（x,y;t）……画像。
Claims (2)
- 【請求項１】第１および第２の画像の各モーメント特徴
を算出するモーメント算出部と、 第１の画像のモーメント特徴と第２の画像のモーメント
特徴の重み付き平均を算出するモーメント線形和算出部
と、 第１の画像のモーメント特徴を前記線形和算出部で算出
されたモーメント特徴に変換するアフィン変換を算出す
るアフィン変換算出部と、 算出されたアフィン変換を第１の画像に施すアフィン変
換実行部とを備えることを特徴とするフレーム間補間方
式。 - 【請求項２】第１および第２の画像の各モーメント特徴
を算出するモーメント算出部と、 第１の画像のモーメント特徴と第２の画像のモーメント
特徴の重み付き平均を算出するモーメント線形和算出部
と、 第１の画像のモーメント特徴を所定の重みによって前記
線形和算出部で算出されたモーメント特徴に変換するア
フィン変換を算出する第１のアフィン変換算出部と、 第２の画像のモーメント特徴を別の所定の重みによって
前記線形和算出部で算出されたモーメント特徴に変換す
るアフィン変換を算出する第２のアフィン変換算出部
と、 前記第１のアフィン変換算出部によって決定されたアフ
ィン変換を前記第１の画像に施した結果と、前記第２の
アフィン変換算出部によって決定されたアフィン変換を
第２の画像に施した結果の線型和を算出するアフィン変
換実行部とを備えることを特徴とするフレーム間補間方
式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28985090A JP2644367B2 (ja) | 1990-10-26 | 1990-10-26 | フレーム間補間方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28985090A JP2644367B2 (ja) | 1990-10-26 | 1990-10-26 | フレーム間補間方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04167687A JPH04167687A (ja) | 1992-06-15 |
| JP2644367B2 true JP2644367B2 (ja) | 1997-08-25 |
Family
ID=17748577
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28985090A Expired - Fee Related JP2644367B2 (ja) | 1990-10-26 | 1990-10-26 | フレーム間補間方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2644367B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7397933B2 (en) * | 2005-05-27 | 2008-07-08 | Microsoft Corporation | Collusion resistant desynchronization for digital video fingerprinting |
-
1990
- 1990-10-26 JP JP28985090A patent/JP2644367B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04167687A (ja) | 1992-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2661071B1 (en) | Image signal processor and image signal processing method | |
| JP2569219B2 (ja) | 動画像予測方式 | |
| Wang et al. | Use of two-dimensional deformable mesh structures for video coding. I. The synthesis problem: mesh-based function approximation and mapping | |
| US20090067728A1 (en) | Image matching method and image interpolation method using the same | |
| JPH06500225A (ja) | ビデオ画像処理 | |
| JP2009003507A (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
| JP2000216682A (ja) | 信号処理装置およびその方法 | |
| KR970002964B1 (ko) | 영상신호의 시간축 내삽필터 | |
| JPWO2020217360A5 (ja) | カメラパラメータ推定装置、カメラパラメータ推定方法、及びプログラム | |
| JPH10336599A (ja) | フレーム間補間画像処理装置 | |
| JP2644367B2 (ja) | フレーム間補間方式 | |
| US4630114A (en) | Method for determining the displacement of moving objects in image sequences and arrangement as well as uses for implementing the method | |
| CN111767679B (zh) | 时变矢量场数据的处理方法及装置 | |
| KR102489890B1 (ko) | 깊이 추정 시스템 및 깊이 추정 방법 | |
| JP3906201B2 (ja) | 補間画像生成装置および隠蔽領域推定方法 | |
| JP2014149582A (ja) | 変換行列推定装置、変換行列推定方法、及びプログラム | |
| US9031357B2 (en) | Recovering dis-occluded areas using temporal information integration | |
| JP5435242B2 (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
| CN110598547A (zh) | 快速运动人体姿态估计方法及装置 | |
| WO2021181902A1 (ja) | ポーズデータ生成装置、ｃｇデータ生成システム、ポーズデータ生成方法、および、プログラム | |
| Han et al. | Representing multifigure anatomical objects | |
| JP3535339B2 (ja) | 補間画像生成装置および輪郭データ生成方法 | |
| JP5900245B2 (ja) | 画像処理装置 | |
| Lu et al. | Efficient video sequences alignment using unbiased bidirectional dynamic time warping | |
| JP3634878B2 (ja) | 画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |