JP4373384B2

JP4373384B2 - 時間解像度の拡大方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体

Info

Publication number: JP4373384B2
Application number: JP2005258504A
Authority: JP
Inventors: 喜秀外村; 孝之仲地
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2005-09-06
Filing date: 2005-09-06
Publication date: 2009-11-25
Anticipated expiration: 2025-09-06
Also published as: JP2007074307A

Description

本発明は、時間解像度の拡大方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に係り、特に、動画像データ１を既存情報から未知である補完情報を推測することにより、当該動画像データ１より高品質な動画像データ２を作成するのに適用可能な時間解像度の拡大方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に関する。

現在、様々なフレームレートを持った動画像フォーマットが用いられており、図９に示すように、映画やテレビなどその対象によって適切な変換が必要となる。良く知られたところでは、映画が毎秒２４フレームであり、テレビは６０フィールドである。映画をNTSC方式のテレビで放送する場合、フレームレートを揃えるために２−３プルダウンにより２フレームを５フィールドに変換する。図１０に一般的に行われている２−３プルダウンを示す。まず、２４フレーム／秒の画像は５倍の１２０フレーム／秒に引き上げられる。次に、ダウンサンプルにより６０フレーム／秒に変換される。最後に走査線変換が行われ、６０フィールド／秒に変換される。走査線変換は、プログレッシブ画像をインターレース画像に変換する処理であり、一般的には偶数フィールドは偶数行置きに画素を間引き、奇数フィールドは奇数行置きに画素を間引くことにより行われる（例えば、非特許文献１参照）。

これにより、映画のフィルムがNTSC方式のテレビで放送可能となるが、実質のフレームレートは原画像と変わらないことから動きが滑らかにならない。逆に、時間の不連続（ジャダー）の発生という新たな問題を生むことが知られている。

この問題を解決する１つの方法として、フィルタ処理を導入することにより中間画素を作成する方法が知られている。図１０にフレームレートを２倍にする場合のフィルタ処理を伴うフレームレート変換の例を示す。まず、画像はゼロ値が挿入されて２倍のフレームレートに変換され、その後、時間方向のフィルタにより中間画素が作成され補完される。同図では、前フレームと後フレームの中間画像を作成するフィルタの例を示している。フィルタの伝達関数はインパルス応答のz変換により次式となる。

H(z_t)=(z_t+2+z_t ^-1)/2 式（１）
別の方法として、動き補正型コマ数変換手法が知られている。これは、動きベクトル情報を用いて補完画素を作成する方法である（例えば、特許文献１参照）。しかし、この方法は、画像圧縮で用いられる動きベクトル情報は情報圧縮のための情報であり、補完に用いることは適切とは言えない。また、動きベクトルはブロック単位で導出していることから、予測が外れた場合は不連続が視覚的に目立つブロックノイズとして生じる。

別の例として、NTSC(National Television System Committee)方式のテレビ信号をコンピュータのディスプレイで表示する場合を示す。この場合はインターレース画像からブログレッシブ画像への変換が必要となり、この処理は、デインターレースと呼ばれている。一般的な手順を図１１に示す。この方法は、時間的に同じ画素から補完画素が作成されている。フィルタ例として次式のようなものなどが使われる。

H(z_x,z_y)={(1-a)/2}z_y+a+{(1-a)/2}z_y ^-1 式（２）
但し、 aのパラメータは画像に依存して選択することが望ましいが、最適な選択をすることは困難となる。その他、図１２に示すように直前の画素を予測画像に用いる方法等も提案されているが、最適な予測をすることは困難である。

また、いずれの方法もフィルタ処理を伴うために、画像の高周波数成分は欠如する（動き補正型コマ数変換手法もハーフレベル予測等の影響で高周波数成分はなくなると考えられる）。その結果、ぼけた画素が補完されることになり解像度感の劣化は避けられない。
特開２００２−１９９３４９号公報 A. Murat Tekalp, Digital video processing, Prentice Hall, 195

上記で述べたように、画像は様々なフォーマットやフレームレートで用いられており、それを高効率にシームレスに変換する技術は重要なものになっている。しかし、従来の技術では画像を補完する際のフィルタ処理によりボケが生じ、動き補正型コマ数変換手法では、ブロックの不連続が視覚的に目立つノイズとなって現れる等の問題が生じる。

本発明は、上記の点に鑑みなされたもので、簡単な操作により時間周波数の拡大に必要な高周波数成分を推定し、高品質な動画像が提供可能な時間解像度の拡大方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。

図１は、本発明の原理を説明するための図である。

本発明（請求項１）は、レート変換手段と高域成分推定手段と加算手段とからなる装置が動画像の時間解像度を拡大するための時間解像度の拡大方法であって、
レート変換手段が、入力された低時間解像度の動画像の時間軸方向のサンプル数（フレームレート）をアップサンプリングし、フィルタにより不必要な高域成分（イメージング成分）を除去する（ステップ１）レート変換ステップと、
高域成分推定手段が、入力された低時間解像度の動画像について、非線形予測法を用いて時間軸方向の高域予測を行い（ステップ２）、高域予測の結果（予測値）が正しいかを判定する（ステップ３）高域成分推定ステップと、
高域成分推定ステップにおいて予測値が正しいと判定された場合に（ステップ３、Ｙｅｓ）、加算手段が、レート変換手段の出力と該予測値とを加算し、高時間解像度動画像を出力する（ステップ４）加算ステップと、を有する。

本発明（請求項２）は、レート変換手段と高域成分推定手段と加算手段とからなる装置が動画像の時間解像度を拡大するための時間解像度の拡大方法であって、
レート変換手段が、入力された低時間解像度の動画像の時間軸方向のサンプル数（フレームレート）をアップサンプリングし、フィルタにより不必要な高域成分（イメージング成分）を除去し、高域成分が不足した高時間解像度動画像を出力するレート変換ステップと、
高域成分推定手段が、入力された低時間解像度の動画像について、複数の時間軸方向の高域成分を作成し、複数の高域成分の類似性に基づいてレート変換手段から出力された高時間解像度動画像に不足している高域成分を作成する高域成分推定ステップと、
加算手段が、レート変換手段から出力された高域成分が不足した高時間解像度動画像と高域成分推定手段で作成された高域成分を加算し、高時間解像度動画像を出力する加算ステップと、を有する。

また、本発明（請求項３）は、請求項２の時間解像度の拡大方法において、
高域成分推定ステップは、
複数の時間軸方向の高域成分を作成する際に、
入力された低時間解像度の動画像の高域成分を除去し、レート変換し、アップサンプルした信号と該入力された低時間解像度の信号との差分をとることにより、第１の高域成分を作成するステップと、
入力された低時間解像度の動画像の高域成分を除去し、レート変換し、ダウンサンプルした信号と該入力された低時間解像度の信号との差分をとることにより、第２の高域成分を作成するステップと、
第１の高域成分及び第２の高域成分から特徴量を求め、該特徴量と信号の変化量を調整するパラメータを用いて高域成分を推定するステップと、を含む。

本発明（請求項４）は、ウェーブレット変換手段と多入力高域成分推定手段と時間解像度拡張ウェーブレット変換手段とからなる装置が符号化された動画像の時間解像度を拡大するための時間解像度の拡大方法であって、
ウェーブレット変換手段が、入力された符号化された動画像を逆エントロピー符号化し、空間解像度に対して逆ウェーブレット変換を行い、時間解像度に対して逆ウェーブレット変換を行い、時間方向の低周波数成分及び複数の高域成分を生成するウェーブレット変換ステップと、
多入力高域成分推定手段が、複数の高域成分の類似性に基づいて高域推定成分を求める多入力高域成分推定ステップと、
時間解像度拡張ウェーブレット変換手段が、時間方向の低周波数成分及び複数の高域成分を加算し、高域推定成分をウェーブレット変換することにより、時間周波数の高域成分を有した高時間解像度の動画像として出力する時間解像度拡張ウェーブレット変換ステップと、を有する。

図２は、本発明の原理構成図である。

本発明（請求項５）は、動動画像の時間解像度を拡大するための時間解像度の拡大装置であって、
入力された低時間解像度の動画像の時間軸方向のサンプル数（フレームレート）をアップサンプリングし、フィルタにより不必要な高域成分（イメージング成分）を除去するレート変換手段１００と、
入力された低時間解像度の動画像について、非線形予測法を用いて時間軸方向の高域予測を行い、該高域予測の結果（予測値）が正しいかを判定する高域成分推定手段２００と、
高域成分推定手段２００において予測値が正しいと判定された場合に、レート変換手段１００の出力と該予測値とを加算し、高時間解像度動画像を出力する加算手段２５０と、を有する。

本発明（請求項６）は、動画像の時間解像度を拡大するための時間解像度の拡大装置であって、
入力された低時間解像度の動画像の時間軸方向のサンプル数（フレームレート）をアップサンプリングし、フィルタにより不必要な高域成分（イメージング成分）を除去し、高域成分が不足した高時間解像度動画像を出力するレート変換手段と、
入力された低時間解像度の動画像について、複数の時間軸方向の高域成分を作成し、
複数の高域成分の類似性に基づいてレート変換手段から出力された高時間解像度動画像に不足している高域成分を作成する高域成分推定手段と、
レート変換手段から出力された高域成分が不足した高時間解像度動画像と高域成分推定手段で作成された高域成分を加算し、高時間解像度動画像を出力する加算手段と、を有する。

また、本発明（請求項７）は、請求項６の時間解像度の拡大装置であって、
高域成分推定手段は、
複数の時間軸方向の高域成分を作成する際に、
入力された低時間解像度の動画像の高域成分を除去し、レート変換し、アップサンプルした信号と該入力された低時間解像度の信号との差分をとることにより、第１の高域成分を作成する手段と、
入力された低時間解像度の動画像の高域成分を除去し、レート変換し、ダウンサンプルした信号と該入力された低時間解像度の信号との差分をとることにより、第２の高域成分を作成する手段と、
第１の高域成分及び第２の高域成分から特徴量を求め、該特徴量と信号の変化量を調整するパラメータを用いて高域成分を推定する手段と、を含む。

本発明（請求項８）は、符号化された動画像の時間解像度を拡大するための時間解像度の拡大装置であって、
入力された符号化された動画像を逆エントロピー符号化し、空間解像度に対して逆ウェーブレット変換を行い、時間解像度に対して逆ウェーブレット変換を行い、時間方向の低周波数成分及び複数の高域成分を生成するウェーブレット変換手段と、
複数の高域成分の類似性に基づいて高域推定成分を求める多入力高域成分推定手段と、
時間方向の低周波数成分及び複数の高域成分を加算した信号と、高域推定成分をウェーブレット変換することにより、時間周波数の高域成分を有した高時間解像度の動画像として出力する時間解像度拡張ウェーブレット変換手段と、を有する。

本発明（請求項９）は、コンピュータを、符号化された動画像の時間解像度を拡大するための時間解像度の拡大装置として機能させる時間解像度の拡大プログラムであって、
コンピュータを請求項５乃至８のいずれか１項に記載の各手段として機能させるプログラムである。

本発明（請求項１０）は、請求項９記載の時間解像度の拡大プログラムを格納したコンピュータ読み取り可能な記録媒体である。

上記のように本発明によれば、時間解像度の拡大処理に伴う画像の高域成分を推定することにより高域成分を持った動画像の時間解像度の拡張が可能であり、動画像の画質を高める。

また、符号化データの伸張時に時間周波数の高域成分の推定する機構を入れ込み、また、JPEG2000などの一般に市販されているデコードチップ等を利用して時間解像度の拡大ができるため、現在開発、運用されているシステムを大きく変更することなく、効率的に時間解像度の拡張が可能となる。

以下、図面と共に本発明の実施の形態を説明する。

図３は、本発明の一実施の形態における時間解像度拡大装置の構成を示す。

同図に示す時間解像度拡大装置は、レート変換部１００と高域成分推定部２００から構成される。

レート変換部１００は、インターレース画像からプログレッシブ画像への変換や、フレームレートの拡大処理のように入力動画像の情報を維持したまま拡大処理が行われる。しかし、レート変換部１００から出力された信号は、時間解像度は高くなっているが、高域成分は十分ではない。この不足している高域成分を、高域成分推定部２００で入力信号から推測し、レート変換部１００からの出力と足し合わせることにより高域成分を含んだ高時間解像度動画像を得ることができる。

また、この処理は一般的に用いられる画像圧縮の復号時にて実施することができる。

以下、詳細に時間解像度拡大装置について説明する。

[第１の実施の形態]
図４は、本発明の第１の実施の形態における時間解像度拡大装置の構成を示す。

同図では、提示間解像度の動画像が入力され、高域成分を含んだ高時間解像度の動画像に変換可能な時間解像度拡大装置を示している。

レート変換部１００は、アップサンプル部１０、フィルタ処理部１１を有し、高域成分推定部２００は、高域成分推定部１２と予測精度判定部１３を有する。

以下、上記の構成における動作を説明する。

本実施の形態におけるシステムは、入力された低時間解像度の動画像を高時間解像度の動画像に変換することを目的としているが、簡単化のために以下では、プログレッシブ画像のフレームレートを高域成分を伴って高時間解像度に変更することを一例として説明する。しかし、同様の手順でインターレース画像からプログレッシブ画像等に変換可能である。

まず、レート変換部１００では、入力された動画像はアップサンプル部１０で時間解像度を拡大するためにアップサンプル（ゼロホールドなど）が行われる。この時、アップサンプル部１０に入力された動画像の時間軸方向の周波数特性を図５（ａ）(入力信号)とすると、アップサンプリングされた信号は、図５（ｂ）のようにイメージング成分と呼ばれる折り返し歪みを伴う。この折り返し歪はフィルタ処理部１１で図５（ｃ）のローパスフィルタにより除去され、図５（ｄ）として高域成分がない信号として出力される。

しかし、本来、時間軸方向の高周波数成分、つまりは微小な動き成分が動画像には存在しているはずであり、時間軸方向の高域成分が無い動画像は微小な動きが無い動画像となる。この不足している時間軸方向の高域成分は高域成分推定部２００の高域成分推定部１２によって作成される。

この作成方法としては、例えば、文献１「Gerchberg R. W.,”Super-resolution through Error Energy Reduction”, Opt.Acta, 21, 9, pp.709-720, 1974」や、文献２「Papoulis A., “A New Algorithm in Spectral Analysis and band-Limited Extrapolation”, IEEE Trans. Circuits syst., CAS-22, 9, pp. 735-742, 1975」で述べられたGreenspanPapoulisの反復法を用いる方法や、文献３「H.Greenspan, C.Anderson and S. Akber, “image enhancement by Non-Linear Extrapolation in Frequency Space,” IEEE Transactions on Image Processing (IEEE-IP), Vol. 9, No.6, 1035-1048, June 2000」で述べられたGreenspanの非線形予測法を応用する。

上記の文献１、文献２や文献３は、本来空間解像度の拡大に応用されているが、本発明では、これらの方法を時間軸方向の高域予測、つまり、動き予測に用いる。これらの方法は、高域成分の推定や創出を行うことにより入力画像にない高域成分を予測する方法であり、それらの方法を時間解像度の拡大に応用する。なお、ここでの推定は、画像の同一箇所を時間軸方向で１次元信号をとることにより行われる。しかし、単純に時間軸方向の高域成分は動き成分であり、これらの予測が適切に当たるという補償はなく、動きが早い箇所では大きく推定精度が狂う可能性がある。そのため、高域成分推定部２００の予測精度判定部１３にてその予測が妥当かを判定する。判定には時間方向の信号の相関値と閾値を利用し、相関値がある値より高い場合、その予測値は正しいと判断し、フィルタ処理部１１が出力された信号と加算し、高時間解像度動画像として出力する。予測値が閾値を下回る場合、予測値は用いない。

［第２の実施の形態］
図６は、本発明の第２の実施の形態における時間解像度拡大装置の構成を示す。同図において、前述の図４と同一構成部分には同一符号を付し、その説明を省略する。

図６において図４と異なる部分は、高域成分推定部２００内の機能である。高域成分推定部２００は、図３の高域成分推定部２１０に対応する複数高域成分作成部１６と多入力高域成分推定部１７を有する。

以下、上記の構成における動作を説明する。

まず、入力された低時間解像度の動画像は、レート変換部１００のアップサンプル部１０で、時間解像度を拡大するためにアップサンプル（ゼロホールド等）が行われ、フィルタ処理部１１にて折り返し歪みが除去され、高域成分が不足した高時間解像度動画像が作成される。不足した高域成分は、高域成分推定部２００の複数高域成分作成部１６及び多入力高域成分推定部１７によって作成され、フィルタ処理部１１の出力と加算され、高時間解像度動画像として出力される。

複数高域成分作成部１６の構成例を図７に示す。

複数高域成分作成部１６は、いくつかのフィルタ処理部１８，２１，２２，２５と、ダウンサンプル部１９，２３及びアップサンプル部２０，２４からなるレート変換部から構成される。フィルタ処理部１８，２１，２２，２５で用いるフィルタは、フィルタ処理部１５で用いるフィルタと等価であることが望ましい。つまり、フィルタはローパス特性を持ち、ＤＣ利得が「１」であることが望ましい(但し、ＤＣ利得が1で無いものもスケーリング処理を行うことにより実行可能である)。複数高域成分作成部１６に入力された低時間解像度動画像は、フィルタ処理部１８にて高域成分が削除され、ダウンサンプル部１９にてレート変換される。その後、アップサンプル部２０にて再びレート変換され、フィルタ処理部２１にてアップサンプル部２０にて発生した折り返し歪みが除去され、入力信号との差分をとることにより１つ目の高域成分Ｈ_０が作成される。

なお、この信号は、フィルタ処理部１８を入力信号との差分値と略等しいが、多入力高域成分推定部１７での推定において、使用するローパスフィルタの特性により生じる折り返し歪みの影響を少なくするためにダウンサンプル部１９、アップサンプル部２０、フィルタ処理部２１の処理を入れている。特に、フィルタ処理部のフィルタタップ数が少ない場合に、推定に不必要な折り返し歪みの影響は大きくなると考えられる。

また、もう一つの高域成分Ｈ_１はダウンサンプル部１９にてダウンサンプルされた信号に対して同様の処理をすることにより与えられる。

複数高域成分作成部１６で作成された２つの高域成分Ｈ_０及びＨ_１は、多入力高域成分推定部１７に送られる。多入力高域成分推定部１７では、高域成分Ｈ_０とＨ_１の類似性から、レート変換部１００のフィルタ処理部１１から出力された高時間解像度動画像に不足している高域成分を作成する。

手順としては、Ｈ_１からＨ_０を作成するパラメータをいくつかの特徴量として抽出する。この際、画像のゼロクロスポイント（ローパスフィルタ後の信号において０点をまたぐポイント、例えば、ｘ（ｔ−１）１、ｘ(ｔ)＝０、ｘ(ｔ＋２)＝−１の場合、時間ｔが０クロスポイント）は、Ｈ_０においてもＨ_１においても場所が等しいことや、ゼロクロス点を中心とした信号の変化量（つまり微分値）は、Ｈ_０に比べてＨ_１は大きくなることなどを利用する。

例として以下にその手順を示す。

今、特徴量を信号の上限及び下限の閾値をＴとし、信号の変化量を調整するパラメータをαとしてＨ_１からＨ_０を推定する。本来、画像の位置によってＴ及びαは異なると考えられるが、簡単化のために等しいと仮定して特徴量を抽出する。

まず、多入力高域成分推定部１７では、Ｈ_１をアップサンプル部１０及びフィルタ処理部１１によりＨ_０と同じ解像度に変換する。そして、作成されたHzero₁と式(５)を用いてHsuitei₀を求める。この時、H₀とHsuitei₀の差分の分散値が一番小さくなる特徴量Ｔ及びαを導出する。

Hsuitei_n(t)=α＊Ｔ if Hzero_n(t)≧Ｔ式（３）
Hsuitei_n (t)=α＊Hzero_n if −Ｔ＜ Hzero_n(t)＜Ｔ式（４）
Hsuitei_n(t)=α＊（−Ｔ） if Hzero_n (t)≦Ｔ式（５）
そして、Hzero_０をＨ_１〜Hzero_１を作成したのと同様の方法でＨ_０から作成し、導出された特徴量Ｔ及びαを式（５）に代入することにより、高域成分を推定する。

導出された高域成分は、フィルタ処理部１１を通過した高時間解像度動画像に足し合わされることにより、高域成分が存在する高時間解像度画像が作成される。

［第３の実施の形態］
本実施の形態では、符号化されたデータの伸張時に低時間解像度の動画像から高域成分を含んだ高時間解像度の動画像に変換することを可能とした時間解像度拡大装置について説明する。

図８は、本発明の第３の実施の形態における時間解像度拡大装置の構成を示す。

同図に示す時間解像度拡大装置は、ウェーブレット変換装置３００、多入力高域成分推定装置４００、及び、時間解像度拡張ウェーブレット変換装置５００から構成される。

ウェーブレット変換装置３００は、ウェーブレット変換部２６を有し、多入力高域成分推定装置４００は、多入力高域成分推定部２７を有し、時間解像度拡張ウェーブレット変換装置５００は時間解像度拡張ウェーブレット変換部２８を有する。

以下、上記の構成における動作を説明する。

今、符号化されたデータは、国際標準規格のJPEG2000のPart2（文献４：ISO/IEC 15444-2, “JPEG2000 image coding system,” 2000）で圧縮された画像であると仮定する。JPEG2000のPart2では時間軸方向にもウェーブレット変換をマルチキャストコンポーネントとして実行でき、今、時間軸方向に２レベルのウェーブレット変換が実施されているものとする。なお、ウェーブレット変換以外のフィルタ処理（アダマール変換等のブロック変換）も下記で述べる方法と同様の方法で実行できる。

この場合、JPEG2000の伸張順序や逆エントロピー符号化の後、空間解像度に対して逆ウェーブレット変換が行われた後、時間解像度に対して逆ウェーブレット変換が行われる。時間方向のウェーブレット変換は２レベルを想定しているため、空間解像度に対する逆変換が行われた後の信号は、時間方向の低周波数成分Ｌ_１及び高周波成分Ｈ_０，Ｈ_１となる。この時間方向の高域成分Ｈ_０及びＨ_１は、ウェーブレットフィルタのＤＣ利得が「１」の場合、第２の実施の形態で示した複数高域成分作成部１６の出力と同じと見做すことができ、第２の実施の形態で示した多入力高域成分推定部１７の処理と同様に行うことにより、高域推定成分Ｈ_−１を作成できる。

なお、ウェーブレットフィルタのＤＣ利得が「１」でない場合は、源信号に対して予めそのＤＣ利得分を乗算処理することにより実行できる。このように作成された時間軸方向の高域成分Ｈ_−１は、時間解像度拡張ウェーブレット変換部２８によって時間周波数の高域成分を有した高時間解像度の動画像として出力される。この時間解像度拡張ウェーブレット変換部２８は、ウェーブレット変換部２６と同様にアップサンプルとウェーブレットフィルタで構成されるが、ウェーブレットフィルタのＤＣ利得が「１」でない場合は、予め低周波数成分をＤＣ利得で乗算する処理が入る点が異なる。

また、本発明は、上記の第１〜第３の実施の形態における時間解像度拡大装置の各構成要素の機能をプログラムとして構築し、時間解像度拡大装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

また、構築されたプログラムをハードディスク装置や、フレキシブルディスク・ＣＤ−ＲＯＭなどの可搬記憶媒体に格納し、時間解像度拡大装置として利用されるコンピュータにインストールする、または、配布することが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、動画像生成技術に適用可能である。

本発明の原理構成図である。本発明の原理を説明するための図である。本発明の一実施の形態における時間解像度拡大装置の構成図である。本発明の第１の実施の形態における時間解像度拡大装置の構成図である。本発明の第１の実施の形態におけるレート変換装置の周波数特性図である。本発明の第２の実施の形態における時間解像度拡大装置の構成図である。本発明の第２の実施の形態における複数高域成分作成部の構成図である。本発明の第３の実施の形態における時間解像度拡大装置の構成図である。フレームレートを持った動画像フォーマットである。プルダウンの例である。フィルタリングの例（Intrafield filtering）である。直前の画素を予測画像に用いる例である。

符号の説明

１０アップサンプル部
１１フィルタ処理部
１２高域成分推定部
１３予測精度判定部
１６複数高域成分作成部
１７多入力高域成分推定部
１８，２１，２２，２５フィルタ処理部
１９、２３ダウンサンプル部
２０、２４アップサンプル部
２６ウェーブレット変換部
２７多入力高域成分推定部
２８時間解像度拡張ウェーブレット変換部
１００レート変換手段、レート変換部
２００高域成分推定手段、高域成分推定部
２５０加算手段

Claims

レート変換手段と高域成分推定手段と加算手段とからなる装置が動画像の時間解像度を拡大するための時間解像度の拡大方法であって、
前記レート変換手段が、入力された低時間解像度の動画像の時間軸方向のサンプル数（フレームレート）をアップサンプリングし、フィルタにより不必要な高域成分（イメージング成分）を除去するレート変換ステップと、
前記高域成分推定手段が、前記入力された低時間解像度の動画像について、非線形予測法を用いて時間軸方向の高域予測を行い、前記高域予測の結果（予測値）が正しいかを判定する高域成分推定ステップと、
前記高域成分推定ステップにおいて前記予測値が正しいと判定された場合に、前記加算手段が、前記レート変換手段の出力と該予測値とを加算し、高時間解像度動画像を出力する加算ステップと、
を有することを特徴とする時間解像度の拡大方法。
レート変換手段と高域成分推定手段と加算手段とからなる装置が動画像の時間解像度を拡大するための時間解像度の拡大方法であって、
前記レート変換手段が、入力された低時間解像度の動画像の時間軸方向のサンプル数（フレームレート）をアップサンプリングし、フィルタにより不必要な高域成分（イメージング成分）を除去し、高域成分が不足した高時間解像度動画像を出力するレート変換ステップと、
前記高域成分推定手段が、前記入力された低時間解像度の動画像について、複数の時間軸方向の高域成分を作成し、前記複数の高域成分の類似性に基づいて前記レート変換手段から出力された前記高時間解像度動画像に不足している高域成分を作成する高域成分推定ステップと、
前記加算手段が、前記レート変換手段から出力された前記高域成分が不足した高時間解像度動画像と前記高域成分推定手段で作成された前記高域成分を加算し、高時間解像度動画像を出力する加算ステップと、
を有することを特徴とする時間解像度の拡大方法。
前記高域成分推定ステップは、
複数の時間軸方向の高域成分を作成する際に、
前記入力された低時間解像度の動画像の高域成分を除去し、レート変換し、アップサンプルした信号と該入力された低時間解像度の信号との差分をとることにより、第１の高域成分を作成するステップと、
前記入力された低時間解像度の動画像の高域成分を除去し、レート変換し、ダウンサンプルした信号と該入力された低時間解像度の信号との差分をとることにより、第２の高域成分を作成するステップと、
前記第１の高域成分及び前記第２の高域成分から特徴量を求め、該特徴量と信号の変化量を調整するパラメータを用いて前記高域成分を推定するステップと、
を含むことを特徴とする請求項２記載の時間解像度の拡大方法。
ウェーブレット変換手段と多入力高域成分推定手段と時間解像度拡張ウェーブレット変換手段とからなる装置が符号化された動画像の時間解像度を拡大するための時間解像度の拡大方法であって、
前記ウェーブレット変換手段が、入力された符号化された動画像を逆エントロピー符号化し、空間解像度に対して逆ウェーブレット変換を行い、時間解像度に対して逆ウェーブレット変換を行い、時間方向の低周波数成分及び複数の高域成分を生成するウェーブレット変換ステップと、
前記多入力高域成分推定手段が、前記複数の高域成分の類似性に基づいて高域推定成分を求める多入力高域成分推定ステップと、
前記時間解像度拡張ウェーブレット変換手段が、前記時間方向の低周波数成分及び前記複数の高域成分を加算し、前記高域推定成分をウェーブレット変換することにより、時間周波数の高域成分を有した高時間解像度の動画像として出力する時間解像度拡張ウェーブレット変換ステップと、
を有することを特徴とする時間解像度の拡大方法。
動画像の時間解像度を拡大するための時間解像度の拡大装置であって、
入力された低時間解像度の動画像の時間軸方向のサンプル数（フレームレート）をアップサンプリングし、フィルタにより不必要な高域成分（イメージング成分）を除去するレート変換手段と、
前記入力された低時間解像度の動画像について、非線形予測法を用いて時間軸方向の高域予測を行い、該高域予測の結果（予測値）が正しいかを判定する高域成分推定手段と、
前記高域成分推定手段において前記予測値が正しいと判定された場合に、前記レート変換手段の出力と該予測値とを加算し、高時間解像度動画像を出力する加算手段と、
を有することを特徴とする時間解像度の拡大装置。
動画像の時間解像度を拡大するための時間解像度の拡大装置であって、
入力された低時間解像度の動画像の時間軸方向のサンプル数（フレームレート）をアップサンプリングし、フィルタにより不必要な高域成分（イメージング成分）を除去し、高域成分が不足した高時間解像度動画像を出力するレート変換手段と、
前記入力された低時間解像度の動画像について、複数の時間軸方向の高域成分を作成し、
前記複数の高域成分の類似性に基づいて前記レート変換手段から出力された前記高時間解像度動画像に不足している高域成分を作成する高域成分推定手段と、
前記レート変換手段から出力された前記高域成分が不足した高時間解像度動画像と前記高域成分推定手段で作成された前記高域成分を加算し、高時間解像度動画像を出力する加算手段と、
を有することを特徴とする時間解像度の拡大装置。
前記高域成分推定手段は、
複数の時間軸方向の高域成分を作成する際に、
前記入力された低時間解像度の動画像の高域成分を除去し、レート変換し、アップサンプルした信号と該入力された低時間解像度の信号との差分をとることにより、第１の高域成分を作成する手段と、
前記入力された低時間解像度の動画像の高域成分を除去し、レート変換し、ダウンサンプルした信号と該入力された低時間解像度の信号との差分をとることにより、第２の高域成分を作成する手段と、
前記第１の高域成分及び前記第２の高域成分から特徴量を求め、該特徴量と信号の変化量を調整するパラメータを用いて前記高域成分を推定する手段と、
を含むことを特徴とする請求項６記載の時間解像度の拡大装置。
符号化された動画像の時間解像度を拡大するための時間解像度の拡大装置であって、
入力された符号化された動画像を逆エントロピー符号化し、空間解像度に対して逆ウェーブレット変換を行い、時間解像度に対して逆ウェーブレット変換を行い、時間方向の低周波数成分及び複数の高域成分を生成するウェーブレット変換手段と、
前記複数の高域成分の類似性に基づいて高域推定成分を求める多入力高域成分推定手段と、
前記時間方向の低周波数成分及び前記複数の高域成分を加算し、前記高域推定成分をウェーブレット変換することにより、時間周波数の高域成分を有した高時間解像度の動画像として出力する時間解像度拡張ウェーブレット変換手段と、
を有することを特徴とする時間解像度の拡大装置。
コンピュータを、符号化された動画像の時間解像度を拡大するための時間解像度の拡大装置として機能させる時間解像度の拡大プログラムであって、
コンピュータを請求項５乃至８のいずれか１項に記載の各手段として機能させることを特徴とする時間解像度の拡大プログラム。
請求項９記載の時間解像度の拡大プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。