JP3957816B2 - フレーム間補間画像処理装置 - Google Patents
フレーム間補間画像処理装置 Download PDFInfo
- Publication number
- JP3957816B2 JP3957816B2 JP14740597A JP14740597A JP3957816B2 JP 3957816 B2 JP3957816 B2 JP 3957816B2 JP 14740597 A JP14740597 A JP 14740597A JP 14740597 A JP14740597 A JP 14740597A JP 3957816 B2 JP3957816 B2 JP 3957816B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- time
- image
- contour
- affine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/543—Motion estimation other than block-based using regions
Description
【０００１】
【発明の属する技術分野】
本発明は、フレーム間補間画像処理装置に関し、特に、フレームの間引きが行われた動画像に対して、フレーム間の補間を行うフレーム間補間画像処理装置に関する。
【０００２】
伝送速度が低速の通信回線を使用して画像情報を送受信する、例えばテレビ会議システム等では、単位時間に送信するフレーム数を、送信すべき情報量に応じて変えることが行われている。すなわち、送信すべき情報量が多いときにはフレームの間引きが行われる。フレーム間引きが行われると、動きの激しい移動体の画像の動きに滑らかさがなくなってしまう。本発明は、こうした問題の解決に向けられている。
【０００３】
【従来の技術】
従来のフレーム間補間画像処理装置として、例えば特開平３−１０９６７７号公報に開示の装置がある。この装置は、アニメーションの作成や医療用の超音波画像の表示において時間的に離散した画像間の滑らかな連続性を得るために使用される。
【０００４】
図９は、こうした従来のフレーム間補間画像処理装置の構成を示す図である。すなわち、カメラ１０１で撮影された画像がフレーム毎にフレームメモリ１０２に格納される。モーメント計算処理部１０３はフレームメモリ１０２から、図１に示されるような離散的時刻ｎ, （ｎ＋１）におけるフレーム画像を受け取る。そして、画像中の移動体１０７を楕円で近似し、１次モーメント軸１０８及び２次モーメント軸１０９を求める。アフィンパラメータ算出部１０４は、時刻ｎのフレームにおける１次モーメント軸１０８及び２次モーメント軸１０９と、時刻（ｎ＋１）のフレームにおける１次モーメント軸１０８及び２次モーメント軸１０９との対応関係からアフィンパラメータ（係数）を算出する。
【０００５】
予測アフィンパラメータ算出部１０５は、算出されたアフィンパラメータを基に、時刻ｎと時刻（ｎ＋１）との間の時刻ｔ（ｎ＜ｔ＜ｎ＋１）におけるアフィンパラメータを算出して移動体予測イメージ作成部１０６へ送る。移動体予測イメージ作成部１０６は、フレームメモリ１０２から送られた時刻ｎまたは時刻（ｎ＋１）におけるフレーム画像中の移動体画像に対して、算出された時刻ｔにおけるアフィンパラメータを用いてアフィン変換を施し、時刻ｔにおけるフレーム画像を出力する。
【０００６】
【発明が解決しようとする課題】
しかし、図９に示す従来の装置では、１次モーメント軸１０８及び２次モーメント軸１０９を求めなければならないが、それには、２次元の積和演算を移動体全体に対して行う必要があり、その計算量が膨大なものとなる。そのため、従来の装置では、リアルタイムにフレーム間補間画像を得ることは難しいという問題点があった。したがって、従来のフレーム間補間画像処理装置を、オフライン的な用途であるアニメーションの作成や医療用の超音波画像の表示に利用することはできても、リアルタイムの処理を要求されるテレビ会議システムには利用できなかった。
【０００７】
また、従来の装置では、時刻ｎのフレームにおける１次モーメント軸１０８及び２次モーメント軸１０９と、時刻（ｎ＋１）のフレームにおける１次モーメント軸１０８及び２次モーメント軸１０９とが算出されても、アフィンパラメータの１つである回転角については９０°までしか特定できないという問題があった。
【０００８】
すなわち、時刻ｎのフレームにおける１次モーメント軸１０８と、時刻（ｎ＋１）のフレームにおける１次モーメント軸１０８とが、角度α（０＜α≦９０°）をなしていた場合に、移動体の回転角はαであり、（１８０°−α）とはしないようにしている。そのため、実際の回転角が９０°以上の場合には、正しいアフィンパラメータ値を設定できないという欠点があった。
【０００９】
本発明はこのような点に鑑みてなされたものであり、リアルタイムにフレーム間補間画像を得ることを実現したフレーム間補間画像処理装置を提供することを目的とする。
【００１０】
また、回転角の特定の改善を図ったフレーム間補間画像処理装置を提供することを他の目的とする。
【００１１】
【課題を解決するための手段】
本発明では上記目的を達成するために、図１に示すように、時系列的に入力した動画像の複数のフレームに基づき、フレーム間差分及びフレーム内差分を算出し、移動体の輪郭を検出する輪郭検出手段１と、輪郭検出手段１で検出されたフレーム毎の輪郭を基にして、第１の時刻のフレームにおける輪郭と第２の時刻のフレームにおける輪郭との間のアフィン係数を算出するアフィン係数算出手段２と、アフィン係数算出手段２で算出されたアフィン係数を基に、第１の時刻と第２の時刻との間の第３の時刻に対応するアフィン係数を線形補間して求めるアフィン係数補間手段３と、第３の時刻に対応するアフィン係数に基づいて、第１の時刻のフレームまたは第２の時刻のフレームにおける移動体画像に対してアフィン変換を施して、第３の時刻のフレームにおける移動体画像を作成する補間画像作成手段４とを有することを特徴とするフレーム間補間画像処理装置が提供される。
【００１２】
以上のような構成において、まず、輪郭検出手段１が、時系列的に入力した動画像の複数のフレームに基づき、フレーム間差分及びフレーム内差分を算出し、移動体の輪郭を検出する。例えば、フレーム間差分とフレーム内差分との重なる部分を求め、これをもって移動体の輪郭とする。
【００１３】
輪郭検出手段１で検出されたフレーム毎の輪郭を基に、アフィン係数算出手段２が、第１の時刻のフレームにおける輪郭と第２の時刻のフレームにおける輪郭との間のアフィン係数を算出する。
【００１４】
アフィン係数算出手段２で算出されたアフィン係数を基に、アフィン係数補間手段３が、第１の時刻と第２の時刻との間の第３の時刻に対応するアフィン係数を線形補間して求める。こうして得られた第３の時刻に対応するアフィン係数に基づいて、補間画像作成手段４が、第１の時刻のフレームまたは第２の時刻のフレームにおける移動体画像に対してアフィン変換を施して、第３の時刻のフレームにおける移動体画像を作成する。画像表示装置５は、第１の時刻のフレーム、第２の時刻のフレーム、及び第３の時刻のフレームを順に画像表示する。
【００１５】
以上のように、輪郭検出手段１及びアフィン係数算出手段２により、フレーム毎の移動体の輪郭を求め、得られた輪郭どうしの対応関係からアフィン係数を算出するようにしている。こうした輪郭やアフィン係数を算出することに要する計算量は、モーメント軸を求めてアフィン係数を算出する従来の計算方法に比べ、格段に少ない。これは、従来方法では２次元的な計算が必要なのに対し、本発明の方法では１次元的な計算で済むことに起因する。計算量が少なくなるので、リアルタイムの処理が可能となり、本発明のフレーム間補間画像処理装置は、テレビ会議システム等に適用が可能となる。
【００１６】
また、輪郭どうしの対応関係からアフィン係数を算出するので、回転角の特定が１８０°まで正確に行えるようになり、従来のモーメント軸の場合に比べ、２倍の角度まで改善される。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して説明する。
まず、原理構成を、図１を参照して説明する。時系列的に入力した動画像の複数のフレームに基づき、フレーム間差分及びフレーム内差分を算出し、移動体の輪郭を検出する輪郭検出手段１と、輪郭検出手段１で検出されたフレーム毎の輪郭を基にして、第１の時刻のフレームにおける輪郭と第２の時刻のフレームにおける輪郭との間のアフィン係数を算出するアフィン係数算出手段２と、アフィン係数算出手段２で算出されたアフィン係数を基に、第１の時刻と第２の時刻との間の第３の時刻に対応するアフィン係数を線形補間して求めるアフィン係数補間手段３と、第３の時刻に対応するアフィン係数に基づいて、第１の時刻のフレームまたは第２の時刻のフレームにおける移動体画像に対してアフィン変換を施して、第３の時刻のフレームにおける移動体画像を作成する補間画像作成手段４とから構成される。
【００１８】
以上のような構成において、まず、輪郭検出手段１が、時系列的に入力した動画像の複数のフレームに基づき、フレーム間差分及びフレーム内差分を算出し、移動体の輪郭を検出する。例えば、フレーム間差分とフレーム内差分との重なる部分を求め、これをもって移動体の輪郭とする。
【００１９】
輪郭検出手段１で検出されたフレーム毎の輪郭を基に、アフィン係数算出手段２が、第１の時刻のフレームにおける輪郭と第２の時刻のフレームにおける輪郭との間のアフィン係数を算出する。
【００２０】
アフィン係数算出手段２で算出されたアフィン係数を基に、アフィン係数補間手段３が、第１の時刻と第２の時刻との間の第３の時刻に対応するアフィン係数を線形補間して求める。こうして得られた第３の時刻に対応するアフィン係数に基づいて、補間画像作成手段４が、第１の時刻のフレームまたは第２の時刻のフレームにおける移動体画像に対してアフィン変換を施して、第３の時刻のフレームにおける移動体画像を作成する。画像表示装置５は、第１の時刻のフレーム、第２の時刻のフレーム、及び第３の時刻のフレームを順に画像表示する。
【００２１】
以上のように、輪郭検出手段１及びアフィン係数算出手段２により、フレーム毎の移動体の輪郭を求め、得られた輪郭どうしの対応関係からアフィン係数を算出するようにしている。こうした輪郭やアフィン係数を算出することに要する計算量は、モーメント軸を求めてアフィン係数を算出する従来の計算方法に比べ、格段に少ない。これは、従来方法では２次元的な計算が必要なのに対し、本発明の方法では１次元的な計算で済むことに起因する。計算量が少なくなるので、リアルタイムの処理が可能となり、本発明のフレーム間補間画像処理装置は、テレビ会議システム等に適用が可能となる。
【００２２】
また、輪郭どうしの対応関係からアフィン係数を算出するので、回転角の特定が１８０°まで正確に行えるようになり、従来のモーメント軸の場合に比べ、２倍の角度まで改善される。
【００２３】
図２は、本発明に係るフレーム間補間画像処理装置を備えたテレビ会議システムの全体構成を示す図である。すなわち、送信側において、カメラ１１がＮＴＳＣ画像を画像エンコーダ１２へ送り、画像エンコーダ１２が符号化を行って通信回線へ送出する。画像エンコーダ１２では、画像圧縮が行われるとともに、それでも伝送情報量が多い場合にはフレームの間引きが行われる。例えば、１秒当たり３０フレームの標準の伝送に対して、１秒当たり１０フレームの伝送が行われる。
【００２４】
受信側では、画像デコーダ１３が、符号化された画像の復号化を行う。復号化が行われても、間引きされたフレームは戻らないので、フレーム補間部１４が、間引きされたフレームを推定して復元を図る。これにより、画像表示部１５は１秒当たり３０フレームの標準の画像表示を行うことができる。
【００２５】
フレーム補間部１４では、時系列的に隣接するフレーム間で、移動体画像を平行移動、拡大縮小、及び回転によって表現できるものとして、アフィン変換を適用する。すなわち、時刻ｎのフレームにおける移動体画像の各画素値をＰ(x,y,n) とし、時刻（ｎ＋１）のフレームにおける移動体画像の各画素値をＰ(X,Y,n+1) としたときに、次式（１）が成立するとする。
【００２６】
【数１】
【００２７】
ここで、Ｃは拡大縮小率を示し、d θは回転角度を示し、Ａ，ＢはＸ, Ｙ方向の平行移動量を示す。
フレーム補間部１４は、この式（１）を利用して間引きされたフレームを推定する。
【００２８】
図３は、フレーム補間部１４の内部構成を示す図である。フレームメモリ２１へは、復号化後の時系列的な複数の画像フレームが送られ、格納される。これらの複数の画像フレームは、１秒当たり３０フレームの間引きのないフレームであることもあるし、間引かれていることもある。
【００２９】
動輪郭抽出部２２はフレームメモリ２１から、今回入力時刻ｎのフレームにおける各画素値Ｆ(x,y,n) と、前回入力時刻（ｎ−１）のフレームにおける各画素値Ｆ(x,y,n-1）とを読み出し、移動体の輪郭の抽出を行う。そのためにまず、下記式（２）に基づきフレーム間差分Ｆd を算出する。
【００３０】
【数２】
【００３１】
また、時刻ｎのフレームにおける各画素値Ｆ(x,y,n) を用いて、下記式（３）に基づきフレーム内差分Ｆi を算出する。
【００３２】
【数３】
【００３３】
ここで、ａｂｓは絶対値演算を意味し、ｌａｐはラプラシアン演算を意味する。
こうしたフレーム間差分Ｆd 及びフレーム内差分Ｆi を用いて、下記式（４）に基づき、輪郭画像Ｅ(x,y,n) を算出する。
【００３４】
【数４】
【００３５】
この式（４）は、ある画素における合算値（Ｆd ＋Ｆi ）が閾値ｔｈよりも大きいときには、その画素に値１を付与し、閾値ｔｈ以下であるときにはその画素に値０を付与することを意味する。
【００３６】
こうして得られた輪郭画像Ｅ(x,y,n) を輪郭イメージ保存部２３に保存する。その後、時刻（ｎ＋１）において輪郭画像Ｅ(x,y,n+1) が送られてくると、輪郭イメージ保存部２３は輪郭画像Ｅ(x,y,n) を輪郭イメージ保存部２４へ移し、輪郭画像Ｅ(x,y,n+1) を保存する。
【００３７】
移動体対応判定部２５は、複数の移動体が存在する場合に、輪郭画像Ｅ(x,y,n )と輪郭画像Ｅ(x,y,n+1) との間で移動体どうしの対応付けを行う。すなわち、輪郭画像Ｅ(x,y,n) に存在する複数の移動体を特定し、それらを移動体ｍ１，ｍ２，ｍ３・・・とする。また、輪郭画像Ｅ(x,y,n+1) に存在する複数の移動体を特定し、それらを移動体ｎ１，ｎ２，ｎ３・・・とする。そして、移動体ｍ１，ｍ２，ｍ３・・・と移動体ｎ１，ｎ２，ｎ３・・・とから２つの移動体からなる全ての組み合わせを作成する。つまり、ｍ１，ｎ１；ｍ１，ｎ２；ｍ１，ｎ３；・・・、ｍ２，ｎ１；ｍ２，ｎ２；ｍ２，ｎ３；・・・、ｍ３，ｎ１；ｍ３，ｎ２；ｍ３，ｎ３；・・・という移動体の組み合わせを作成する。移動体対応判定部２５は、後述のようにアフィンパラメータ算出部２６とともに作動して、移動体の各組み合わせ毎に、輪郭画像Ｅ(x,y,n) の中の移動体と、輪郭画像Ｅ(x,y,n+1) の中の移動体との間の類似度を算出する。例えば、組み合わせｍ１，ｎ１であれば、輪郭画像Ｅ(x,y,n) の中の移動体ｍ１と、輪郭画像Ｅ(x,y,n+1) の中の移動体ｎ１との間の類似度を算出する。これを以下に説明する。
【００３８】
まずアフィンパラメータ算出部２６が、移動体対応判定部２５から指定を受けた組み合わせの２つの移動体（以下、ｍ１，ｎ１と仮定して説明する）を、輪郭画像Ｅ(x,y,n) 及び輪郭画像Ｅ(x,y,n+1) の中で特定する。そして、輪郭画像Ｅ(x,y,n) の中の移動体ｍ１の輪郭画像の重心ｇ１を求め、また、輪郭画像Ｅ(x,y,n+1) の中の移動体ｎ１の輪郭画像の重心ｇ２を求める。それから、重心ｇ１と移動体ｍ１の輪郭画像の各点との距離ｒを、角度θに関連づけて算出する。同様に、重心ｇ２と移動体ｎ１の輪郭画像の各点との距離ｒを、角度θに関連づけて算出する。
【００３９】
図４は、こうした輪郭、重心、距離ｒ、及び角度θの関係の一例を示す図であり、（Ａ）は輪郭画像Ｅ(x,y,n) の中の移動体ｍ１の輪郭画像及び重心ｇ１を示し、（Ｂ）は輪郭画像Ｅ(x,y,n+1) の中の移動体ｎ１の輪郭画像及び重心ｇ２を示し、（Ｃ）は（Ａ）における距離ｒ及び角度θを示し、（Ｄ）は（Ｂ）における距離ｒ及び角度θを示す。
【００４０】
アフィンパラメータ算出部２６は、輪郭画像毎に、距離ｒに対して３６０°にわたっての平均化を行い、得られた平均値から距離ｒの正規化を行う。つまり、距離ｒを拡大または縮小して、図４（Ｄ）に示すように、比較対象の移動体画像どうしの大きさの差をなくすようにする。図４（Ｃ）の正規化後のグラフをＧ(r, θ,n）とし、図４（Ｄ）の正規化後のグラフをＧ(r, θ,n+1）とする。
【００４１】
次に、アフィンパラメータ算出部２６は、次式（５）に基づき相違度Ｄ(dθ）を算出する。
【００４２】
【数５】
【００４３】
ここで、Ｇ(r, θ+dθ,n+1）は、グラフＧ(r, θ,n+1）を角度d θだけずらしたことを意味する。
そして、下記式（６）に基づき、この相違度Ｄ(dθ）が最小となるd θ及びそのときの最小相違値Ｄmin を算出する。
【００４４】
【数６】
【００４５】
図５及び図６は、移動体の回転に伴う類似度の調整を説明する図である。図５（Ａ）は輪郭画像Ｅ(x,y,n) の中の正規化後の移動体ｍ１の輪郭画像及び重心ｇ１を示し、図５（Ｂ）は輪郭画像Ｅ(x,y,n+1) の中の正規化後の移動体ｎ１の輪郭画像及び重心ｇ２を示す。図６（Ａ）は、図５（Ａ）における距離ｒ及び角度θを示し、図６（Ｂ）は、図５（Ｂ）における距離ｒ及び角度θを示す。図６（Ｂ）から分かるように、角度d θだけずらすことにより相違度Ｄ(dθ）が最小となる。
【００４６】
なお、図６（Ａ），（Ｂ）から分かるように、角度d θは、１８０°までは正確に特定ができる。
図３に戻って、アフィンパラメータ算出部２６が、移動体の組み合わせ毎に最小相違値Ｄmin を算出する。移動体対応判定部２５は、これらの算出された移動体の組み合わせ毎の最小相違値Ｄmin を比較し、最小の値となっている移動体の組み合わせを抽出する。移動体対応判定部２５は、この抽出された組み合わせの移動体どうしを、最も類似している移動体どうしと判断する。つまり、上述の例で言えば、輪郭画像Ｅ(x,y,n) の中の移動体ｍ１と輪郭画像Ｅ(x,y,n+1) の中の移動体ｎ１とは同一の移動体と見なす。残りの移動体についても、同様な方法により同一の移動体を特定する。
【００４７】
アフィンパラメータ算出部２６は、このように同一と特定された移動体に関しての平行移動量、拡大縮小率、及び回転角度を算出し、予測アフィンパラメータ算出部２７へ送る。平行移動量は、同一と特定された移動体に関しての輪郭画像Ｅ(x,y,n) の中の重心と輪郭画像Ｅ(x,y,n+1) の中の重心とにおいて、両者のＸ，Ｙ方向の距離Ａ，Ｂとして算出される。これらの距離Ａ，Ｂは、数式（１）におけるＸ, Ｙ方向の平行移動量Ａ，Ｂに相当する。拡大縮小率は、同一と特定された移動体に関しての正規化の際の輪郭画像Ｅ(x,y,n) での輪郭画像の拡大率または縮小率と、輪郭画像Ｅ(x,y,n+1) での輪郭画像の拡大率または縮小率との比Ｃとして算出される。この算出された比Ｃが、数式（１）における拡大縮小率Ｃに相当する。回転角度は、同一と特定された移動体に関しての角度d θである。角度d θは、数式（１）における回転角度d θに相当する。
【００４８】
予測アフィンパラメータ算出部２７は、送られた平行移動量Ａ，Ｂ、拡大縮小率Ｃ、及び回転角度d θを基に、時刻ｎと時刻（ｎ＋１）との間の時刻ｔ（ｎ＜ｔ＜ｎ＋１）におけるアフィンパラメータを算出する。すなわち、下記式（７ａ）〜（７ｄ）に基づき、時刻ｔにおける拡大縮小率Ｃｐ、回転角度θｐ、及びＸ，Ｙ方向の平行移動量Ａｐ，Ａｐを算出する。
【００４９】
【数７】
【００５０】
なお、Ｔは時刻ｎと時刻（ｎ＋１）との間の時間である。
予測アフィンパラメータ算出部２７は、上記処理を移動体毎に行い、その結果を移動体予測イメージ作成部２９へ送る。
【００５１】
背景イメージ生成部２８は、フレームメモリ２１からの時刻ｎ，（ｎ＋１）におけるフレーム画像及び移動体対応判定部２５からの移動体の輪郭画像を基にして、移動体画像を取り除いた背景画像を作成する。この作成方法を、図７を参照して説明する。
【００５２】
図７は、背景イメージ生成部２８で行われる背景画像の作成方法を説明する図である。（Ａ）は時刻ｎのフレーム画像を示し、（Ｂ）は時刻（ｎ＋１）のフレーム画像を示す。時刻ｎのフレーム画像と時刻（ｎ＋１）のフレーム画像において同一の移動体がある場合、時刻ｎのフレーム画像から、その移動体画像の外接矩形領域３１を切り取り、同様に、時刻（ｎ＋１）のフレーム画像から、その移動体画像の外接矩形領域３２を切り取る。その結果、図７（Ｃ），（Ｄ）のようなフレーム画像が得られる。これらの図７（Ｃ），（Ｄ）のフレーム画像を重ね合わせることにより、図７（Ｅ）に示す背景画像が得られる。こうした処理を検出された移動体全部にわたって行う。
【００５３】
図３に戻って、移動体予測イメージ作成部２９が、背景イメージ生成部２８から背景画像を受け取るとともに、フレームメモリ２１から時刻ｎにおけるフレーム画像を受け取る。そして、移動体予測イメージ作成部２９は、予測アフィンパラメータ算出部２７から送られた時刻ｔにおけるアフィンパラメータ、つまり拡大縮小率Ｃｐ、回転角度θｐ、及びＸ，Ｙ方向の平行移動量Ａｐ，Ａｐを利用して、時刻ｎにおけるフレーム画像の中の移動体に対して、アフィン変換を施す。すなわち、時刻ｔのフレームにおける移動体画像の各画素値Ｐ(X,Y,t) を、次式（８）に基づき算出する。
【００５４】
【数８】
【００５５】
こうして算出された時刻ｔにおける移動体画像を、移動体予測イメージ作成部２９は背景画像に上書きする。
こうした処理を、各移動体に対して実施し、最終的に、時刻ｔにおける移動体全部の画像が背景画像に上書きされ、時刻ｔにおけるフレーム画像としてフレーム埋込部３０へ送られる。
【００５６】
また、以上の移動体予測イメージ作成部２９の動作では、時刻ｔにおけるフレーム画像内の移動体画像に対してアフィン変換を実施しているが、これに代わって、時刻（ｎ＋１）におけるフレーム画像内の移動体画像に対してアフィン変換を施すようにしてもよい。
【００５７】
フレーム埋込部３０は、フレームメモリ２１から時刻ｔ, （ｎ＋１）におけるフレーム画像を受け取り、また、移動体予測イメージ作成部２９から時刻ｔにおけるフレーム画像を受け取る。更に、画像デコーダ１３（図２）からフレーム落ち情報をもらう。フレーム落ち情報は、間引きされたフレーム位置を示す情報であり、この情報に従って、フレーム埋込部３０は、時刻ｔにおけるフレームと時刻（ｎ＋１）におけるフレームとの間に、時刻ｔにおけるフレームを挿入して出力する。フレーム落ち情報が、間引きが行われていないことを示している場合はフレームの挿入を禁止する。
【００５８】
このようにして、間引きされたフレームの補間復旧が行われる。
図８（Ａ）は、１秒間に３０フレームの割合で作成された原画像による移動体の動きを示す図である。ここでは、１人の人間が左から右へ歩いている。この原画像に対して、１秒間に１０フレームとなるようにフレーム間引きが行われ、通信回線へ送出された画像による移動体の動きを、図８（Ｂ）に示す。こうしたフレーム間引きが行われた画像に対して、本発明によりフレーム補間が行われた後の画像による移動体の動きを、図８（Ｃ）に示す。
【００５９】
なお、図１に示した輪郭検出手段１は図３の動輪郭抽出部２２に対応し、同様に、アフィン係数算出手段２は、輪郭イメージ保存部２３，２４、移動体対応判定部２５、及びにアフィンパラメータ算出部２６に、アフィン係数補間手段３は予測アフィンパラメータ算出部２７に、補間画像作成手段４は背景イメージ生成部２８及び移動体予測イメージ作成部２９に対応する。
【００６０】
【発明の効果】
以上説明したように本発明では、輪郭検出手段及びアフィン係数算出手段により、フレーム毎の移動体の輪郭を求め、輪郭を有するオブジェクトの重心位置の移動及び重心から輪郭までの距離を使って、アフィン係数を算出するので、モーメント軸を求めてアフィン係数を算出する従来の計算方法に比べ計算量が少なくなることにより、リアルタイムの処理が可能となり、テレビ会議システム等に適用が可能となる。
【００６１】
また、輪郭どうしの対応関係からアフィン係数を算出するので、回転角の特定が１８０°まで正確に行えるようになり、従来のモーメント軸の場合に比べ、２倍の角度まで改善される。
【図面の簡単な説明】
【図１】 原理説明図である。
【図２】 フレーム間補間画像処理装置を備えたテレビ会議システムの全体構成を示す図である。
【図３】フレーム補間部の内部構成を示す図である。
【図４】（Ａ）は輪郭画像Ｅ(x,y,n) の中の移動体ｍ１の輪郭画像及び重心ｇ１を示す図であり、（Ｂ）は輪郭画像Ｅ(x,y,n+1) の中の移動体ｎ１の輪郭画像及び重心ｇ２を示す図であり、（Ｃ）は（Ａ）における距離ｒ及び角度θを示す図であり、（Ｄ）は（Ｂ）における距離ｒ及び角度θを示す図である。
【図５】（Ａ）は輪郭画像Ｅ(x,y,n) の中の正規化後の移動体ｍ１の輪郭画像及び重心ｇ１を示す図であり、（Ｂ）は輪郭画像Ｅ(x,y,n+1) の中の正規化後の移動体ｎ１の輪郭画像及び重心ｇ２を示す図である。
【図６】（Ａ）は、図５（Ａ）における距離ｒ及び角度θを示す図であり、（Ｂ）は、図５（Ｂ）における距離ｒ及び角度θを示す図である。
【図７】（Ａ）は時刻ｎのフレーム画像を示す図であり、（Ｂ）は時刻（ｎ＋１）のフレーム画像を示す図であり、（Ｃ）は時刻ｎのフレーム画像から移動体画像の外接矩形領域を切り取って得られたフレーム画像を示す図であり、（Ｄ）は時刻（ｎ＋１）のフレーム画像から移動体画像の外接矩形領域を切り取って得られたフレーム画像を示す図であり、（Ｅ）は（Ｃ），（Ｄ）のフレーム画像を重ね合わせることにより得られた背景画像を示す図である。
【図８】（Ａ）は、１秒間に３０フレームの割合で作成された原画像による移動体の動きを示す図であり、（Ｂ）は１秒間に１０フレームとなるようにフレーム間引きが行われ、通信回線へ送出された画像による移動体の動きを示す図であり、（Ｃ）はフレーム補間が行われた後の画像による移動体の動きを示す図である。
【図９】従来のフレーム間補間画像処理装置の構成を示す図である。
【図１０】（Ａ）は時刻ｎにおけるフレーム画像を示す図であり、（Ｂ）は時刻（ｎ＋１）におけるフレーム画像を示す図である。
【符号の説明】
１ 輪郭検出手段
２ アフィン係数算出手段
３ アフィン係数補間手段
４ 補間画像作成手段
【発明の属する技術分野】
本発明は、フレーム間補間画像処理装置に関し、特に、フレームの間引きが行われた動画像に対して、フレーム間の補間を行うフレーム間補間画像処理装置に関する。
【０００２】
伝送速度が低速の通信回線を使用して画像情報を送受信する、例えばテレビ会議システム等では、単位時間に送信するフレーム数を、送信すべき情報量に応じて変えることが行われている。すなわち、送信すべき情報量が多いときにはフレームの間引きが行われる。フレーム間引きが行われると、動きの激しい移動体の画像の動きに滑らかさがなくなってしまう。本発明は、こうした問題の解決に向けられている。
【０００３】
【従来の技術】
従来のフレーム間補間画像処理装置として、例えば特開平３−１０９６７７号公報に開示の装置がある。この装置は、アニメーションの作成や医療用の超音波画像の表示において時間的に離散した画像間の滑らかな連続性を得るために使用される。
【０００４】
図９は、こうした従来のフレーム間補間画像処理装置の構成を示す図である。すなわち、カメラ１０１で撮影された画像がフレーム毎にフレームメモリ１０２に格納される。モーメント計算処理部１０３はフレームメモリ１０２から、図１に示されるような離散的時刻ｎ, （ｎ＋１）におけるフレーム画像を受け取る。そして、画像中の移動体１０７を楕円で近似し、１次モーメント軸１０８及び２次モーメント軸１０９を求める。アフィンパラメータ算出部１０４は、時刻ｎのフレームにおける１次モーメント軸１０８及び２次モーメント軸１０９と、時刻（ｎ＋１）のフレームにおける１次モーメント軸１０８及び２次モーメント軸１０９との対応関係からアフィンパラメータ（係数）を算出する。
【０００５】
予測アフィンパラメータ算出部１０５は、算出されたアフィンパラメータを基に、時刻ｎと時刻（ｎ＋１）との間の時刻ｔ（ｎ＜ｔ＜ｎ＋１）におけるアフィンパラメータを算出して移動体予測イメージ作成部１０６へ送る。移動体予測イメージ作成部１０６は、フレームメモリ１０２から送られた時刻ｎまたは時刻（ｎ＋１）におけるフレーム画像中の移動体画像に対して、算出された時刻ｔにおけるアフィンパラメータを用いてアフィン変換を施し、時刻ｔにおけるフレーム画像を出力する。
【０００６】
【発明が解決しようとする課題】
しかし、図９に示す従来の装置では、１次モーメント軸１０８及び２次モーメント軸１０９を求めなければならないが、それには、２次元の積和演算を移動体全体に対して行う必要があり、その計算量が膨大なものとなる。そのため、従来の装置では、リアルタイムにフレーム間補間画像を得ることは難しいという問題点があった。したがって、従来のフレーム間補間画像処理装置を、オフライン的な用途であるアニメーションの作成や医療用の超音波画像の表示に利用することはできても、リアルタイムの処理を要求されるテレビ会議システムには利用できなかった。
【０００７】
また、従来の装置では、時刻ｎのフレームにおける１次モーメント軸１０８及び２次モーメント軸１０９と、時刻（ｎ＋１）のフレームにおける１次モーメント軸１０８及び２次モーメント軸１０９とが算出されても、アフィンパラメータの１つである回転角については９０°までしか特定できないという問題があった。
【０００８】
すなわち、時刻ｎのフレームにおける１次モーメント軸１０８と、時刻（ｎ＋１）のフレームにおける１次モーメント軸１０８とが、角度α（０＜α≦９０°）をなしていた場合に、移動体の回転角はαであり、（１８０°−α）とはしないようにしている。そのため、実際の回転角が９０°以上の場合には、正しいアフィンパラメータ値を設定できないという欠点があった。
【０００９】
本発明はこのような点に鑑みてなされたものであり、リアルタイムにフレーム間補間画像を得ることを実現したフレーム間補間画像処理装置を提供することを目的とする。
【００１０】
また、回転角の特定の改善を図ったフレーム間補間画像処理装置を提供することを他の目的とする。
【００１１】
【課題を解決するための手段】
本発明では上記目的を達成するために、図１に示すように、時系列的に入力した動画像の複数のフレームに基づき、フレーム間差分及びフレーム内差分を算出し、移動体の輪郭を検出する輪郭検出手段１と、輪郭検出手段１で検出されたフレーム毎の輪郭を基にして、第１の時刻のフレームにおける輪郭と第２の時刻のフレームにおける輪郭との間のアフィン係数を算出するアフィン係数算出手段２と、アフィン係数算出手段２で算出されたアフィン係数を基に、第１の時刻と第２の時刻との間の第３の時刻に対応するアフィン係数を線形補間して求めるアフィン係数補間手段３と、第３の時刻に対応するアフィン係数に基づいて、第１の時刻のフレームまたは第２の時刻のフレームにおける移動体画像に対してアフィン変換を施して、第３の時刻のフレームにおける移動体画像を作成する補間画像作成手段４とを有することを特徴とするフレーム間補間画像処理装置が提供される。
【００１２】
以上のような構成において、まず、輪郭検出手段１が、時系列的に入力した動画像の複数のフレームに基づき、フレーム間差分及びフレーム内差分を算出し、移動体の輪郭を検出する。例えば、フレーム間差分とフレーム内差分との重なる部分を求め、これをもって移動体の輪郭とする。
【００１３】
輪郭検出手段１で検出されたフレーム毎の輪郭を基に、アフィン係数算出手段２が、第１の時刻のフレームにおける輪郭と第２の時刻のフレームにおける輪郭との間のアフィン係数を算出する。
【００１４】
アフィン係数算出手段２で算出されたアフィン係数を基に、アフィン係数補間手段３が、第１の時刻と第２の時刻との間の第３の時刻に対応するアフィン係数を線形補間して求める。こうして得られた第３の時刻に対応するアフィン係数に基づいて、補間画像作成手段４が、第１の時刻のフレームまたは第２の時刻のフレームにおける移動体画像に対してアフィン変換を施して、第３の時刻のフレームにおける移動体画像を作成する。画像表示装置５は、第１の時刻のフレーム、第２の時刻のフレーム、及び第３の時刻のフレームを順に画像表示する。
【００１５】
以上のように、輪郭検出手段１及びアフィン係数算出手段２により、フレーム毎の移動体の輪郭を求め、得られた輪郭どうしの対応関係からアフィン係数を算出するようにしている。こうした輪郭やアフィン係数を算出することに要する計算量は、モーメント軸を求めてアフィン係数を算出する従来の計算方法に比べ、格段に少ない。これは、従来方法では２次元的な計算が必要なのに対し、本発明の方法では１次元的な計算で済むことに起因する。計算量が少なくなるので、リアルタイムの処理が可能となり、本発明のフレーム間補間画像処理装置は、テレビ会議システム等に適用が可能となる。
【００１６】
また、輪郭どうしの対応関係からアフィン係数を算出するので、回転角の特定が１８０°まで正確に行えるようになり、従来のモーメント軸の場合に比べ、２倍の角度まで改善される。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して説明する。
まず、原理構成を、図１を参照して説明する。時系列的に入力した動画像の複数のフレームに基づき、フレーム間差分及びフレーム内差分を算出し、移動体の輪郭を検出する輪郭検出手段１と、輪郭検出手段１で検出されたフレーム毎の輪郭を基にして、第１の時刻のフレームにおける輪郭と第２の時刻のフレームにおける輪郭との間のアフィン係数を算出するアフィン係数算出手段２と、アフィン係数算出手段２で算出されたアフィン係数を基に、第１の時刻と第２の時刻との間の第３の時刻に対応するアフィン係数を線形補間して求めるアフィン係数補間手段３と、第３の時刻に対応するアフィン係数に基づいて、第１の時刻のフレームまたは第２の時刻のフレームにおける移動体画像に対してアフィン変換を施して、第３の時刻のフレームにおける移動体画像を作成する補間画像作成手段４とから構成される。
【００１８】
以上のような構成において、まず、輪郭検出手段１が、時系列的に入力した動画像の複数のフレームに基づき、フレーム間差分及びフレーム内差分を算出し、移動体の輪郭を検出する。例えば、フレーム間差分とフレーム内差分との重なる部分を求め、これをもって移動体の輪郭とする。
【００１９】
輪郭検出手段１で検出されたフレーム毎の輪郭を基に、アフィン係数算出手段２が、第１の時刻のフレームにおける輪郭と第２の時刻のフレームにおける輪郭との間のアフィン係数を算出する。
【００２０】
アフィン係数算出手段２で算出されたアフィン係数を基に、アフィン係数補間手段３が、第１の時刻と第２の時刻との間の第３の時刻に対応するアフィン係数を線形補間して求める。こうして得られた第３の時刻に対応するアフィン係数に基づいて、補間画像作成手段４が、第１の時刻のフレームまたは第２の時刻のフレームにおける移動体画像に対してアフィン変換を施して、第３の時刻のフレームにおける移動体画像を作成する。画像表示装置５は、第１の時刻のフレーム、第２の時刻のフレーム、及び第３の時刻のフレームを順に画像表示する。
【００２１】
以上のように、輪郭検出手段１及びアフィン係数算出手段２により、フレーム毎の移動体の輪郭を求め、得られた輪郭どうしの対応関係からアフィン係数を算出するようにしている。こうした輪郭やアフィン係数を算出することに要する計算量は、モーメント軸を求めてアフィン係数を算出する従来の計算方法に比べ、格段に少ない。これは、従来方法では２次元的な計算が必要なのに対し、本発明の方法では１次元的な計算で済むことに起因する。計算量が少なくなるので、リアルタイムの処理が可能となり、本発明のフレーム間補間画像処理装置は、テレビ会議システム等に適用が可能となる。
【００２２】
また、輪郭どうしの対応関係からアフィン係数を算出するので、回転角の特定が１８０°まで正確に行えるようになり、従来のモーメント軸の場合に比べ、２倍の角度まで改善される。
【００２３】
図２は、本発明に係るフレーム間補間画像処理装置を備えたテレビ会議システムの全体構成を示す図である。すなわち、送信側において、カメラ１１がＮＴＳＣ画像を画像エンコーダ１２へ送り、画像エンコーダ１２が符号化を行って通信回線へ送出する。画像エンコーダ１２では、画像圧縮が行われるとともに、それでも伝送情報量が多い場合にはフレームの間引きが行われる。例えば、１秒当たり３０フレームの標準の伝送に対して、１秒当たり１０フレームの伝送が行われる。
【００２４】
受信側では、画像デコーダ１３が、符号化された画像の復号化を行う。復号化が行われても、間引きされたフレームは戻らないので、フレーム補間部１４が、間引きされたフレームを推定して復元を図る。これにより、画像表示部１５は１秒当たり３０フレームの標準の画像表示を行うことができる。
【００２５】
フレーム補間部１４では、時系列的に隣接するフレーム間で、移動体画像を平行移動、拡大縮小、及び回転によって表現できるものとして、アフィン変換を適用する。すなわち、時刻ｎのフレームにおける移動体画像の各画素値をＰ(x,y,n) とし、時刻（ｎ＋１）のフレームにおける移動体画像の各画素値をＰ(X,Y,n+1) としたときに、次式（１）が成立するとする。
【００２６】
【数１】
ここで、Ｃは拡大縮小率を示し、d θは回転角度を示し、Ａ，ＢはＸ, Ｙ方向の平行移動量を示す。
フレーム補間部１４は、この式（１）を利用して間引きされたフレームを推定する。
【００２８】
図３は、フレーム補間部１４の内部構成を示す図である。フレームメモリ２１へは、復号化後の時系列的な複数の画像フレームが送られ、格納される。これらの複数の画像フレームは、１秒当たり３０フレームの間引きのないフレームであることもあるし、間引かれていることもある。
【００２９】
動輪郭抽出部２２はフレームメモリ２１から、今回入力時刻ｎのフレームにおける各画素値Ｆ(x,y,n) と、前回入力時刻（ｎ−１）のフレームにおける各画素値Ｆ(x,y,n-1）とを読み出し、移動体の輪郭の抽出を行う。そのためにまず、下記式（２）に基づきフレーム間差分Ｆd を算出する。
【００３０】
【数２】
また、時刻ｎのフレームにおける各画素値Ｆ(x,y,n) を用いて、下記式（３）に基づきフレーム内差分Ｆi を算出する。
【００３２】
【数３】
ここで、ａｂｓは絶対値演算を意味し、ｌａｐはラプラシアン演算を意味する。
こうしたフレーム間差分Ｆd 及びフレーム内差分Ｆi を用いて、下記式（４）に基づき、輪郭画像Ｅ(x,y,n) を算出する。
【００３４】
【数４】
この式（４）は、ある画素における合算値（Ｆd ＋Ｆi ）が閾値ｔｈよりも大きいときには、その画素に値１を付与し、閾値ｔｈ以下であるときにはその画素に値０を付与することを意味する。
【００３６】
こうして得られた輪郭画像Ｅ(x,y,n) を輪郭イメージ保存部２３に保存する。その後、時刻（ｎ＋１）において輪郭画像Ｅ(x,y,n+1) が送られてくると、輪郭イメージ保存部２３は輪郭画像Ｅ(x,y,n) を輪郭イメージ保存部２４へ移し、輪郭画像Ｅ(x,y,n+1) を保存する。
【００３７】
移動体対応判定部２５は、複数の移動体が存在する場合に、輪郭画像Ｅ(x,y,n )と輪郭画像Ｅ(x,y,n+1) との間で移動体どうしの対応付けを行う。すなわち、輪郭画像Ｅ(x,y,n) に存在する複数の移動体を特定し、それらを移動体ｍ１，ｍ２，ｍ３・・・とする。また、輪郭画像Ｅ(x,y,n+1) に存在する複数の移動体を特定し、それらを移動体ｎ１，ｎ２，ｎ３・・・とする。そして、移動体ｍ１，ｍ２，ｍ３・・・と移動体ｎ１，ｎ２，ｎ３・・・とから２つの移動体からなる全ての組み合わせを作成する。つまり、ｍ１，ｎ１；ｍ１，ｎ２；ｍ１，ｎ３；・・・、ｍ２，ｎ１；ｍ２，ｎ２；ｍ２，ｎ３；・・・、ｍ３，ｎ１；ｍ３，ｎ２；ｍ３，ｎ３；・・・という移動体の組み合わせを作成する。移動体対応判定部２５は、後述のようにアフィンパラメータ算出部２６とともに作動して、移動体の各組み合わせ毎に、輪郭画像Ｅ(x,y,n) の中の移動体と、輪郭画像Ｅ(x,y,n+1) の中の移動体との間の類似度を算出する。例えば、組み合わせｍ１，ｎ１であれば、輪郭画像Ｅ(x,y,n) の中の移動体ｍ１と、輪郭画像Ｅ(x,y,n+1) の中の移動体ｎ１との間の類似度を算出する。これを以下に説明する。
【００３８】
まずアフィンパラメータ算出部２６が、移動体対応判定部２５から指定を受けた組み合わせの２つの移動体（以下、ｍ１，ｎ１と仮定して説明する）を、輪郭画像Ｅ(x,y,n) 及び輪郭画像Ｅ(x,y,n+1) の中で特定する。そして、輪郭画像Ｅ(x,y,n) の中の移動体ｍ１の輪郭画像の重心ｇ１を求め、また、輪郭画像Ｅ(x,y,n+1) の中の移動体ｎ１の輪郭画像の重心ｇ２を求める。それから、重心ｇ１と移動体ｍ１の輪郭画像の各点との距離ｒを、角度θに関連づけて算出する。同様に、重心ｇ２と移動体ｎ１の輪郭画像の各点との距離ｒを、角度θに関連づけて算出する。
【００３９】
図４は、こうした輪郭、重心、距離ｒ、及び角度θの関係の一例を示す図であり、（Ａ）は輪郭画像Ｅ(x,y,n) の中の移動体ｍ１の輪郭画像及び重心ｇ１を示し、（Ｂ）は輪郭画像Ｅ(x,y,n+1) の中の移動体ｎ１の輪郭画像及び重心ｇ２を示し、（Ｃ）は（Ａ）における距離ｒ及び角度θを示し、（Ｄ）は（Ｂ）における距離ｒ及び角度θを示す。
【００４０】
アフィンパラメータ算出部２６は、輪郭画像毎に、距離ｒに対して３６０°にわたっての平均化を行い、得られた平均値から距離ｒの正規化を行う。つまり、距離ｒを拡大または縮小して、図４（Ｄ）に示すように、比較対象の移動体画像どうしの大きさの差をなくすようにする。図４（Ｃ）の正規化後のグラフをＧ(r, θ,n）とし、図４（Ｄ）の正規化後のグラフをＧ(r, θ,n+1）とする。
【００４１】
次に、アフィンパラメータ算出部２６は、次式（５）に基づき相違度Ｄ(dθ）を算出する。
【００４２】
【数５】
ここで、Ｇ(r, θ+dθ,n+1）は、グラフＧ(r, θ,n+1）を角度d θだけずらしたことを意味する。
そして、下記式（６）に基づき、この相違度Ｄ(dθ）が最小となるd θ及びそのときの最小相違値Ｄmin を算出する。
【００４４】
【数６】
図５及び図６は、移動体の回転に伴う類似度の調整を説明する図である。図５（Ａ）は輪郭画像Ｅ(x,y,n) の中の正規化後の移動体ｍ１の輪郭画像及び重心ｇ１を示し、図５（Ｂ）は輪郭画像Ｅ(x,y,n+1) の中の正規化後の移動体ｎ１の輪郭画像及び重心ｇ２を示す。図６（Ａ）は、図５（Ａ）における距離ｒ及び角度θを示し、図６（Ｂ）は、図５（Ｂ）における距離ｒ及び角度θを示す。図６（Ｂ）から分かるように、角度d θだけずらすことにより相違度Ｄ(dθ）が最小となる。
【００４６】
なお、図６（Ａ），（Ｂ）から分かるように、角度d θは、１８０°までは正確に特定ができる。
図３に戻って、アフィンパラメータ算出部２６が、移動体の組み合わせ毎に最小相違値Ｄmin を算出する。移動体対応判定部２５は、これらの算出された移動体の組み合わせ毎の最小相違値Ｄmin を比較し、最小の値となっている移動体の組み合わせを抽出する。移動体対応判定部２５は、この抽出された組み合わせの移動体どうしを、最も類似している移動体どうしと判断する。つまり、上述の例で言えば、輪郭画像Ｅ(x,y,n) の中の移動体ｍ１と輪郭画像Ｅ(x,y,n+1) の中の移動体ｎ１とは同一の移動体と見なす。残りの移動体についても、同様な方法により同一の移動体を特定する。
【００４７】
アフィンパラメータ算出部２６は、このように同一と特定された移動体に関しての平行移動量、拡大縮小率、及び回転角度を算出し、予測アフィンパラメータ算出部２７へ送る。平行移動量は、同一と特定された移動体に関しての輪郭画像Ｅ(x,y,n) の中の重心と輪郭画像Ｅ(x,y,n+1) の中の重心とにおいて、両者のＸ，Ｙ方向の距離Ａ，Ｂとして算出される。これらの距離Ａ，Ｂは、数式（１）におけるＸ, Ｙ方向の平行移動量Ａ，Ｂに相当する。拡大縮小率は、同一と特定された移動体に関しての正規化の際の輪郭画像Ｅ(x,y,n) での輪郭画像の拡大率または縮小率と、輪郭画像Ｅ(x,y,n+1) での輪郭画像の拡大率または縮小率との比Ｃとして算出される。この算出された比Ｃが、数式（１）における拡大縮小率Ｃに相当する。回転角度は、同一と特定された移動体に関しての角度d θである。角度d θは、数式（１）における回転角度d θに相当する。
【００４８】
予測アフィンパラメータ算出部２７は、送られた平行移動量Ａ，Ｂ、拡大縮小率Ｃ、及び回転角度d θを基に、時刻ｎと時刻（ｎ＋１）との間の時刻ｔ（ｎ＜ｔ＜ｎ＋１）におけるアフィンパラメータを算出する。すなわち、下記式（７ａ）〜（７ｄ）に基づき、時刻ｔにおける拡大縮小率Ｃｐ、回転角度θｐ、及びＸ，Ｙ方向の平行移動量Ａｐ，Ａｐを算出する。
【００４９】
【数７】
なお、Ｔは時刻ｎと時刻（ｎ＋１）との間の時間である。
予測アフィンパラメータ算出部２７は、上記処理を移動体毎に行い、その結果を移動体予測イメージ作成部２９へ送る。
【００５１】
背景イメージ生成部２８は、フレームメモリ２１からの時刻ｎ，（ｎ＋１）におけるフレーム画像及び移動体対応判定部２５からの移動体の輪郭画像を基にして、移動体画像を取り除いた背景画像を作成する。この作成方法を、図７を参照して説明する。
【００５２】
図７は、背景イメージ生成部２８で行われる背景画像の作成方法を説明する図である。（Ａ）は時刻ｎのフレーム画像を示し、（Ｂ）は時刻（ｎ＋１）のフレーム画像を示す。時刻ｎのフレーム画像と時刻（ｎ＋１）のフレーム画像において同一の移動体がある場合、時刻ｎのフレーム画像から、その移動体画像の外接矩形領域３１を切り取り、同様に、時刻（ｎ＋１）のフレーム画像から、その移動体画像の外接矩形領域３２を切り取る。その結果、図７（Ｃ），（Ｄ）のようなフレーム画像が得られる。これらの図７（Ｃ），（Ｄ）のフレーム画像を重ね合わせることにより、図７（Ｅ）に示す背景画像が得られる。こうした処理を検出された移動体全部にわたって行う。
【００５３】
図３に戻って、移動体予測イメージ作成部２９が、背景イメージ生成部２８から背景画像を受け取るとともに、フレームメモリ２１から時刻ｎにおけるフレーム画像を受け取る。そして、移動体予測イメージ作成部２９は、予測アフィンパラメータ算出部２７から送られた時刻ｔにおけるアフィンパラメータ、つまり拡大縮小率Ｃｐ、回転角度θｐ、及びＸ，Ｙ方向の平行移動量Ａｐ，Ａｐを利用して、時刻ｎにおけるフレーム画像の中の移動体に対して、アフィン変換を施す。すなわち、時刻ｔのフレームにおける移動体画像の各画素値Ｐ(X,Y,t) を、次式（８）に基づき算出する。
【００５４】
【数８】
こうして算出された時刻ｔにおける移動体画像を、移動体予測イメージ作成部２９は背景画像に上書きする。
こうした処理を、各移動体に対して実施し、最終的に、時刻ｔにおける移動体全部の画像が背景画像に上書きされ、時刻ｔにおけるフレーム画像としてフレーム埋込部３０へ送られる。
【００５６】
また、以上の移動体予測イメージ作成部２９の動作では、時刻ｔにおけるフレーム画像内の移動体画像に対してアフィン変換を実施しているが、これに代わって、時刻（ｎ＋１）におけるフレーム画像内の移動体画像に対してアフィン変換を施すようにしてもよい。
【００５７】
フレーム埋込部３０は、フレームメモリ２１から時刻ｔ, （ｎ＋１）におけるフレーム画像を受け取り、また、移動体予測イメージ作成部２９から時刻ｔにおけるフレーム画像を受け取る。更に、画像デコーダ１３（図２）からフレーム落ち情報をもらう。フレーム落ち情報は、間引きされたフレーム位置を示す情報であり、この情報に従って、フレーム埋込部３０は、時刻ｔにおけるフレームと時刻（ｎ＋１）におけるフレームとの間に、時刻ｔにおけるフレームを挿入して出力する。フレーム落ち情報が、間引きが行われていないことを示している場合はフレームの挿入を禁止する。
【００５８】
このようにして、間引きされたフレームの補間復旧が行われる。
図８（Ａ）は、１秒間に３０フレームの割合で作成された原画像による移動体の動きを示す図である。ここでは、１人の人間が左から右へ歩いている。この原画像に対して、１秒間に１０フレームとなるようにフレーム間引きが行われ、通信回線へ送出された画像による移動体の動きを、図８（Ｂ）に示す。こうしたフレーム間引きが行われた画像に対して、本発明によりフレーム補間が行われた後の画像による移動体の動きを、図８（Ｃ）に示す。
【００５９】
なお、図１に示した輪郭検出手段１は図３の動輪郭抽出部２２に対応し、同様に、アフィン係数算出手段２は、輪郭イメージ保存部２３，２４、移動体対応判定部２５、及びにアフィンパラメータ算出部２６に、アフィン係数補間手段３は予測アフィンパラメータ算出部２７に、補間画像作成手段４は背景イメージ生成部２８及び移動体予測イメージ作成部２９に対応する。
【００６０】
【発明の効果】
以上説明したように本発明では、輪郭検出手段及びアフィン係数算出手段により、フレーム毎の移動体の輪郭を求め、輪郭を有するオブジェクトの重心位置の移動及び重心から輪郭までの距離を使って、アフィン係数を算出するので、モーメント軸を求めてアフィン係数を算出する従来の計算方法に比べ計算量が少なくなることにより、リアルタイムの処理が可能となり、テレビ会議システム等に適用が可能となる。
【００６１】
また、輪郭どうしの対応関係からアフィン係数を算出するので、回転角の特定が１８０°まで正確に行えるようになり、従来のモーメント軸の場合に比べ、２倍の角度まで改善される。
【図面の簡単な説明】
【図１】 原理説明図である。
【図２】 フレーム間補間画像処理装置を備えたテレビ会議システムの全体構成を示す図である。
【図３】フレーム補間部の内部構成を示す図である。
【図４】（Ａ）は輪郭画像Ｅ(x,y,n) の中の移動体ｍ１の輪郭画像及び重心ｇ１を示す図であり、（Ｂ）は輪郭画像Ｅ(x,y,n+1) の中の移動体ｎ１の輪郭画像及び重心ｇ２を示す図であり、（Ｃ）は（Ａ）における距離ｒ及び角度θを示す図であり、（Ｄ）は（Ｂ）における距離ｒ及び角度θを示す図である。
【図５】（Ａ）は輪郭画像Ｅ(x,y,n) の中の正規化後の移動体ｍ１の輪郭画像及び重心ｇ１を示す図であり、（Ｂ）は輪郭画像Ｅ(x,y,n+1) の中の正規化後の移動体ｎ１の輪郭画像及び重心ｇ２を示す図である。
【図６】（Ａ）は、図５（Ａ）における距離ｒ及び角度θを示す図であり、（Ｂ）は、図５（Ｂ）における距離ｒ及び角度θを示す図である。
【図７】（Ａ）は時刻ｎのフレーム画像を示す図であり、（Ｂ）は時刻（ｎ＋１）のフレーム画像を示す図であり、（Ｃ）は時刻ｎのフレーム画像から移動体画像の外接矩形領域を切り取って得られたフレーム画像を示す図であり、（Ｄ）は時刻（ｎ＋１）のフレーム画像から移動体画像の外接矩形領域を切り取って得られたフレーム画像を示す図であり、（Ｅ）は（Ｃ），（Ｄ）のフレーム画像を重ね合わせることにより得られた背景画像を示す図である。
【図８】（Ａ）は、１秒間に３０フレームの割合で作成された原画像による移動体の動きを示す図であり、（Ｂ）は１秒間に１０フレームとなるようにフレーム間引きが行われ、通信回線へ送出された画像による移動体の動きを示す図であり、（Ｃ）はフレーム補間が行われた後の画像による移動体の動きを示す図である。
【図９】従来のフレーム間補間画像処理装置の構成を示す図である。
【図１０】（Ａ）は時刻ｎにおけるフレーム画像を示す図であり、（Ｂ）は時刻（ｎ＋１）におけるフレーム画像を示す図である。
【符号の説明】
１ 輪郭検出手段
２ アフィン係数算出手段
３ アフィン係数補間手段
４ 補間画像作成手段
Claims (3)
- 動画像のフレーム間の補間を行うフレーム間補間画像処理装置において、
時系列的に入力した動画像の複数のフレームに基づき、フレーム間差分及びフレーム内差分を算出し、移動体の輪郭を検出する輪郭検出手段と、
前記輪郭検出手段で検出されたフレーム毎の輪郭を基にして、第１の時刻のフレームにおける輪郭と第２の時刻のフレームにおける輪郭との間のアフィン係数を算出するアフィン係数算出手段と、
前記アフィン係数算出手段で算出されたアフィン係数を基に、前記第１の時刻と前記第２の時刻との間の第３の時刻に対応するアフィン係数を線形補間して求めるアフィン係数補間手段と、
前記第３の時刻に対応するアフィン係数に基づいて、前記第１の時刻のフレームまたは前記第２の時刻のフレームにおける移動体画像に対してアフィン変換を施して、前記第３の時刻のフレームにおける移動体画像を作成する補間画像作成手段と、
を有し、
前記輪郭検出手段は、前記算出されたフレーム間差分に前記算出されたフレーム内差分を加算して画素毎の合算値を得、当該合算値が所定値よりも大きい画素の集合体をもって前記移動体の輪郭とし、
前記アフィン係数算出手段は、前記輪郭検出手段で検出されたフレーム毎の輪郭を基に、前記第１の時刻のフレームの輪郭における重心及び前記第２の時刻のフレームの輪郭における重心を算出する重心算出手段と、前記重心算出手段で算出された各重心と対応の輪郭との距離をそれぞれ算出する距離算出手段と、前記重心算出手段で算出された各重心間の距離から平行移動量を求め、前記距離算出手段で算出された各距離を基に、回転角度及び拡大縮小量を求め、当該平行移動量、回転角度、及び拡大縮小量を前記アフィン係数とするアフィン係数決定手段と、を含む、
ことを特徴とするフレーム間補間画像処理装置。 - 前記アフィン係数算出手段は、
前記輪郭検出手段で検出されたフレーム毎の輪郭を基に、各フレームに複数の移動体が存在することを検出する複数移動体検出手段と、
前記複数移動体検出手段により検出された前記第１の時刻のフレームにおける複数の移動体と、前記第２の時刻のフレームにおける複数の移動体とをそれぞれ組み合わせ、各組み合わせにおける２つの移動体に関わる、前記距離算出手段で算出された２つの距離において、相互の距離差を算出する距離差算出手段と、
前記距離差算出手段で算出された各組み合わせ毎の距離差のうちで最小の距離差を有している組み合わせを探す探索手段と、
を含み、
前記アフィン係数算出手段は、前記探索手段によって発見された組み合わせに関わる移動体に対して、前記アフィン係数決定手段を動作させることを特徴とする請求項１記載のフレーム間補間画像処理装置。 - テレビ会議端末装置の画像受信部に設けられたことを特徴とする請求項１記載のフレーム間補間画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14740597A JP3957816B2 (ja) | 1997-06-05 | 1997-06-05 | フレーム間補間画像処理装置 |
| US08/964,745 US5966178A (en) | 1997-06-05 | 1997-11-05 | Image processing apparatus with interframe interpolation capabilities |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14740597A JP3957816B2 (ja) | 1997-06-05 | 1997-06-05 | フレーム間補間画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10336599A JPH10336599A (ja) | 1998-12-18 |
| JP3957816B2 true JP3957816B2 (ja) | 2007-08-15 |
Family
ID=15429561
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14740597A Expired - Fee Related JP3957816B2 (ja) | 1997-06-05 | 1997-06-05 | フレーム間補間画像処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5966178A (ja) |
| JP (1) | JP3957816B2 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6162174A (en) * | 1998-09-16 | 2000-12-19 | Siemens Medical Systems, Inc. | Method for compensating for object movement in ultrasound images |
| JP3209210B2 (ja) * | 1999-02-10 | 2001-09-17 | 日本電気株式会社 | 動画像圧縮方法、動画像圧縮装置及び動画像圧縮プログラムを記憶した記憶媒体 |
| SG102017A1 (en) * | 2001-04-10 | 2004-02-27 | Seagate Technology Llc | Rail design for high bandwidth actuator |
| US7412004B2 (en) * | 2001-06-29 | 2008-08-12 | Agere Systems Inc. | Method and apparatus for controlling buffer overflow in a communication system |
| US20030021437A1 (en) * | 2001-07-11 | 2003-01-30 | Hersch Roger David | Images and security documents protected by micro-structures |
| JP2005521123A (ja) * | 2001-10-22 | 2005-07-14 | ライカ ミクロジュステムス ヴェツラー ゲーエムベーハー | 光学顕微鏡検出３次元画像の生成方法及び生成装置 |
| KR100478165B1 (ko) * | 2002-06-12 | 2005-03-23 | 주식회사 메디슨 | 3 차원 동영상 형성 방법 및 장치 |
| CA2656832A1 (en) * | 2005-07-08 | 2007-01-18 | Brainlike, Inc. | Efficient processing in an auto-adaptive network |
| US8229879B2 (en) * | 2005-07-08 | 2012-07-24 | Brainlike, Inc. | System and method for auto-adaptive network |
| US7877337B2 (en) * | 2006-10-10 | 2011-01-25 | Brainlike, Inc. | Auto-adaptive network for sensor data processing and forecasting |
| US9210983B2 (en) * | 2007-06-23 | 2015-12-15 | Christine Dung Tran | Tool for creating paint margins on fingernails |
| WO2009142628A1 (en) * | 2008-05-20 | 2009-11-26 | Brainlike, Inc. | Auto-adaptive network |
| EP2157800B1 (en) | 2008-08-21 | 2012-04-18 | Vestel Elektronik Sanayi ve Ticaret A.S. | Method and apparatus for increasing the frame rate of a video signal |
| JP5149861B2 (ja) * | 2009-05-01 | 2013-02-20 | 富士フイルム株式会社 | 中間画像生成装置およびその動作制御方法 |
| US20110268365A1 (en) * | 2010-04-30 | 2011-11-03 | Acer Incorporated | 3d hand posture recognition system and vision based hand posture recognition method thereof |
| JP2012099027A (ja) * | 2010-11-04 | 2012-05-24 | Toshiba Corp | 映像出力装置、映像出力方法 |
| JP7175715B2 (ja) * | 2018-10-31 | 2022-11-21 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
| JP2020154732A (ja) * | 2019-03-20 | 2020-09-24 | 株式会社リコー | 画像処理装置、画像処理方法およびプログラム |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60241387A (ja) * | 1984-05-16 | 1985-11-30 | Hitachi Ltd | 画像処理装置 |
| JPS6448181A (en) * | 1987-08-19 | 1989-02-22 | Hitachi Ltd | Method and device for discriminating moving body |
| JP2760083B2 (ja) * | 1989-09-22 | 1998-05-28 | 富士通株式会社 | フレーム間補間方式 |
| JPH03132467A (ja) * | 1989-10-18 | 1991-06-05 | Toshiba Corp | 移動体識別装置 |
| JPH0460880A (ja) * | 1990-06-29 | 1992-02-26 | Shimizu Corp | 動体識別解析管理システム |
| JPH04246788A (ja) * | 1991-02-01 | 1992-09-02 | Matsushita Electric Ind Co Ltd | 動体識別装置 |
| JPH04256078A (ja) * | 1991-02-07 | 1992-09-10 | Matsushita Electric Ind Co Ltd | 動体識別装置 |
| DE4314483A1 (de) * | 1993-05-03 | 1994-11-10 | Philips Patentverwaltung | Überwachungssystem |
| JPH0750825A (ja) * | 1993-05-24 | 1995-02-21 | Hideo Mori | 人間動物監視システム |
| JP3394589B2 (ja) * | 1994-04-19 | 2003-04-07 | 株式会社日立製作所 | 移動体の識別・追跡装置 |
| KR100248955B1 (ko) * | 1994-07-18 | 2000-03-15 | 유무성 | 자동감시장치 |
| US5748789A (en) * | 1996-10-31 | 1998-05-05 | Microsoft Corporation | Transparent block skipping in object-based video coding systems |
-
1997
- 1997-06-05 JP JP14740597A patent/JP3957816B2/ja not_active Expired - Fee Related
- 1997-11-05 US US08/964,745 patent/US5966178A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US5966178A (en) | 1999-10-12 |
| JPH10336599A (ja) | 1998-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3957816B2 (ja) | フレーム間補間画像処理装置 | |
| EP3816928A1 (en) | Image super-resolution reconstruction method, image super-resolution reconstruction apparatus, and computer-readable storage medium | |
| EP2405382B9 (en) | Region-of-interest tracking method and device for wavelet-based video coding | |
| US9509980B2 (en) | Real-time capturing and generating viewpoint images and videos with a monoscopic low power mobile device | |
| US5832115A (en) | Ternary image templates for improved semantic compression | |
| US8078010B2 (en) | Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames | |
| US20060251172A1 (en) | Motion vector searching method using plural search areas | |
| EP0849950A2 (en) | Dynamic sprites for encoding video data | |
| US7463778B2 (en) | Motion estimation for compressing multiple view images | |
| US20050219642A1 (en) | Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system | |
| EP0734178A2 (en) | Method and apparatus for determining true motion vectors for selected pixels | |
| JP2003018604A (ja) | 画像信号符号化方法、画像信号符号化装置および記録媒体 | |
| JPH03253190A (ja) | 動画像のハイブリッド符号化方法及びその装置 | |
| US8144775B2 (en) | Method and device for generating candidate motion vectors from selected spatial and temporal motion vectors | |
| JPH06153239A (ja) | 画像の符号化方式 | |
| Park et al. | A mesh-based disparity representation method for view interpolation and stereo image compression | |
| JP2003085566A (ja) | 対応点探索方法及びこれを用いたマッチング装置 | |
| JP3268258B2 (ja) | ２次元三角パッチ線格子モデルを用いた動画像の動き推定方法 | |
| JP3859989B2 (ja) | 画像マッチング方法およびその方法を利用可能な画像処理方法と装置 | |
| Schreer et al. | Hybrid recursive matching and segmentation-based postprocessing in real-time immersive video conferencing | |
| Clemens et al. | A hybrid approach for error concealment in stereoscopic images | |
| JPH11331851A (ja) | 低ビットレート動画符号化装置 | |
| Midya et al. | Video error concealment through 3-D face model | |
| KR0160458B1 (ko) | 매스크 블럭 매칭 방법으로 움직임 벡터를 예측하는 동영상 압축 장치 및 방법 | |
| JP4378801B2 (ja) | 画像処理方法および画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040603 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060821 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060829 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061027 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070508 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070509 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100518 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120518 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130518 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140518 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |